/note/tech

ヤフー社内のデータ連携を爆速で構築する方法 #ApacheNiFi

Apache NiFi は以上の課題をすべて解決しつつ、データを安全に移動するようなデータフローを設計できる1つの手段です。

「データフロー」という言葉は一般に幅広い分野で使用されていますが、ここでは NiFiのドキュメント にもあるように「自動化・管理化されたシステム間の情報の流れ」と定義します。 もう少し具体的には、データを処理したり取得したりするコンポーネント(NiFiではプロセッサーと呼ぶ)とそれらを接続する有向の接続(NiFiではコネクションと呼ぶ)のグラフ構造で表すことができます。

よさそう