Nifi とその機能、およびその適切な使用例について質問があります。
Nifi は、フローベースの処理を可能にするスペースを作成することを実際に目指していると読みました。Nifi を少しいじってみると、Nifi には自分にとって便利な方法でデータをモデル化/整形する機能があることにも気づきました。Nifi はデータ モデリングにも使用できると言っても過言ではありませんか?
ありがとう!
Nifi とその機能、およびその適切な使用例について質問があります。
Nifi は、フローベースの処理を可能にするスペースを作成することを実際に目指していると読みました。Nifi を少しいじってみると、Nifi には自分にとって便利な方法でデータをモデル化/整形する機能があることにも気づきました。Nifi はデータ モデリングにも使用できると言っても過言ではありませんか?
ありがとう!
データ モデリングは少しオーバーロードされた用語ですが、自分にとって便利な方法でデータをモデル化/整形したいというあなたの欲求の文脈では、それは実行可能なアプローチのように思えます。この残りの部分は、その仮定の下にあります。
NiFi は、手段としてフロー ベース プログラミング (FBP) に密接に関連する原則と設計によるデータフローを採用していますが、その機能はポイント A から B に (そしておそらく再び戻って) データを取得することです。もちろん、システムは本質的に同じプロトコル、フォーマット、またはスキーマで対話しているわけではないため、プロデューサーが提供するものから消費者が期待するものにデータを形作る何かが必要です。これは、メディエーションやルーティングなどの一般的なエンタープライズ統合パターン (EIP) [1] に入ります。ただし、より広い意味では、データを必要とする人 (システム、ユーザーなど) に、必要なときに必要な方法でデータを提供するだけです。
NiFi の作成者の 1 人である Joe Witt は、ミートアップで、データ サイエンスのコンテキストにおけるデータ シェーピングのこの考えに沿った素晴らしい講演を行いました。そのスライドが利用可能です [2]。
追加の質問がある場合は、コミュニティ メーリング リスト [3] をチェックして、さらに掘り下げてより広い視野を得ることができるように追加の質問をすることをお勧めします。
データ モデリングは、多くの人にとって多くのことを意味する可能性があるため、ここではその用語を慎重に使用します。あなたが求めていることで私が思うことは非常に明確です.Apache NiFiは、データを適切な形式に成形し、後続の分析と処理に必要なスキーマとコンテンツを作成するのに役立つ優れたシステムです. NiFi には拡張可能なモデルがあるため、これを実行できるプロセッサを追加したり、多くの場合に既存のプロセッサを使用したりできます。また、ExecuteScript プロセッサも使用できるため、その場でスクリプトを記述してデータを操作できます。