Apache Arrowは数年後にはデータ処理界隈で重要なコンポーネントになっているだろうプロジェクトです。
Apache Arrowが実現することのまとめ
- 1. データ交換・高速処理しやすいApache Arrowフォーマットの仕様を定義
- 2. 各種言語用のApache Arrowフォーマットを読み書きするライブラリーを開発
- 3. 大量のメモリー上のデータを高速処理するためライブラリーを開発
Apache Arrowが向いている用途
Apache Arrowは複数のシステムが協調して大量のデータを処理するユースケース向けに設計されています。そのため、次の用途に向いています。
- 大量データの交換
- メモリー上での大量データの分析処理
現状CSVでやりとりしてるような大量データの受け渡しをまるっと代替できそうね