■ 1. DuckLabs買収の発表
- Amazonによる買収合意:
- オープンソースの分析データベースDuckDBを開発するアムステルダム拠点のDuckLabsを買収する最終合意に署名
- 通例のクロージング条件を満たし次第、取引は間もなく完了する見込み
- 創業者の処遇:
- DuckDBを開発しDuckLabsを共同創業したHannes MühleisenとMark Raasveldtは、AWSの一員としてチームとOSSの技術的方向性を率い続ける
- OSSプロジェクトの継続性:
- DuckDBのOSSプロジェクトは引き続きDuckLabsチームが推進する
- DuckDBを統括する非営利の独立FoundationのもとでオープンソースとしてMITライセンスで提供される点は現状のまま変わらない
■ 2. データ領域におけるAWSの実績
- データは企業の中核資産:
- 組織が推論のカスタマイズやAIエージェント構築に自社データを用いる現在、その重要性はかつてなく高まっている
- 20年にわたるデータ分野の開拓:
- あらゆる企業にデータレイクをもたらすAmazon S3の提供開始を起点とする
- クラウド初の分析サービスAmazon EMR、クラウド初のデータウェアハウスAmazon Redshift、AthenaやGlue ETL等の多数の機能を投入してきた
- 継続中の技術革新:
- S3 TablesでのApache Iceberg機能の直接提供、データレイクへのベクトルストレージ、Gravitonベースの新しい最適化Redshiftクラスタ
■ 3. DuckDBの成り立ちと設計思想
- 研究機関発の起源:
- HannesとMarkは、Pythonを生んだオランダの国立研究所CWIに在籍中にDuckDBを開始した
- 既存エンジンの盲点:
- 従来のデータベースやSparkのような分析エンジンは超大規模データ処理の性能に注力していた
- 大半の顧客がSQL分析で日常的に扱う小規模データのクエリへ有効に「スケールダウン」する手段を欠いていた
- 狙う領域:
- 世界のデータクエリの90%超を占める、分析やダッシュボード用途で1テラバイト以下を扱うクエリを圧倒的に高速化する
- アーキテクチャ上の選択:
- 日常的なSQLクエリを極めて高速にするという前提に基づき、アプリケーションとインプロセスで動作する
- アプリケーションとのデータ交換が単純化され高速化される
- ベクトル化実行による性能:
- SELECT * FROM tableのような単純な文の実行に重いコンパイラを必要とせず、大きな性能向上を得る
■ 4. AIエージェントとの親和性
- エージェントは人間に似た振る舞いをする:
- 突ついて試し、本当にやりたいことを見極める前に小さなデータセットで探索的分析を実行する
- 日常クエリ向けの最適化がそのまま効く:
- 日常的なクエリに効くものはエージェントにも非常によく効き、DuckDBは結果的にAIエージェントの利用に自然に最適化されている
- 学術プロジェクトからの普及:
- 使いやすさと生の性能により、データエンジニアリング、データサイエンス、分析、そしてAIエージェントの領域で広く採用されている
■ 5. AWSサービスとの統合構想
- 得意領域の組み合わせ:
- 1テラバイト以下の日常クエリにおけるDuckDBの強みを活かす
- 数百テラバイトからペタバイト規模の分析を支えるS3の実績あるエクサバイト超のエンタープライズ規模と、Redshift、Athena、EMR、Glue-ETL、SageMakerプラットフォームを組み合わせる
- 技術的背景の解説:
- AWS Distinguished EngineerのAndy Warfieldが、Werner VogelsのAll Things Distributedブログで分析の変わりゆく物理法則とDuckDBについて論じている
■ 6. 顧客での利用実態
- 外部ファイルへの直接クエリ:
- ローカルまたはS3等のクラウドストレージ上のParquet、CSV、JSONに対しSQLを直接実行し、比類ない性能と大幅な低コストを実現する
- Allen Instituteの事例:
- Scientific Computing担当Executive DirectorのDavid Fengが、大規模かつマルチモーダルなデータの広範な分析を伴う研究の加速を語る
- 2025年からテラバイト級の科学データ分析にDuckDBを使い始めた
- 神経生理学・行動データのリアルタイム品質管理と分析のためS3にデータを保存し、次のデータ取得の判断に役立てている
- 数分かかっていたクエリが1秒未満で返るようになり、まったく新しいデータとの対話方法が可能になった
- Lambdaでの動作:
- DuckDBはAWS Lambda関数にインプロセスで動作させることもできる
■ 7. AWS内部での採用
- Amazon Quickでの選定:
- 独自ダッシュボーディングエンジンの性能増強にあたり、S3 Tables上のデータへのクエリ実行手段としてDuckDBを採用した
- 採用理由:
- DuckDBエンジンはCPU数に応じて容易にスケールする
- 単一ライブラリとしてQuick内部のコントロールプレーン各サブシステムへ容易に組み込める
- 実績値:
- 2025年10月のQuick提供開始以降、DuckDB統合と最適化を組み込んだ独自クエリエンジンで25億件超のクエリを処理した
- これらの統合と最適化により平均クエリレイテンシを30%削減した
- 横展開の方針:
- データと分析にまたがる他のAWSサービスへも、DuckDBの性能と簡潔さを統合する方法を検討する
■ 8. 今後の展望
- DuckLabsとAWSは、アプリケーション、データエンジニア、AIのためにデータのフロンティアを共に再発明する
- 顧客が今いる場所に寄り添い、AWSの中でDuckDBの技術革新がもたらす利点を届ける