/note/tech

DuckDBを使ったシンプルで安価なデータマネジメント

• DuckDBを使ったシンプルで安価なデータマネジメント - Speaker Deck
• 時系列+もう一つの何らかの属性で検索することがほとんどのデータは、S3に置いてs3 selectが有用 - road288の日記

MEMO:

• 以前、ログデータをSQLiteに保存 → 月次なり週次なり時系列でS3に保存 → PostgressSQLのユーザー定義関数でS3からSQLite取り出し・ロード・検索みたいなシステムでコストを超絶圧縮みたいな記事を見た記憶がある
• それに近い
• これだ↓
• SQLiteをS3に保存してlamdaで検索→PostgresSQLに結果を返すと安くて早いデータウェアハウスになるよ

(2024/12/11)