問題タブ [apache-falcon]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

13 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
2 に答える
6777 参照

etl - アパッチ NIFI vs アパッチ エアフロー vs アパッチ ファルコン ? 以下のシナリオに最も適しているのはどれですか?

さまざまなベンダーに属する REST API を介して一連のデバイスと通信する Java のソリューションを開発しています。したがって、ベンダーごとに、ソリューション内で実行する必要がある一連のプロセスがあります。ただし、これらのプロセスは各ベンダーによって異なります。以下は、実行する必要がある高レベルのプロセスです。

  • Retrieve an XML file from a folder
  • Process the XML file
  • Perform some image processing
  • Schedule a job and execute it on the scheduled time
  • Storing data on a MySQL DB and perform some REST calls to outside APIs

したがって、1 つのベンダーが上記のすべてのプロセスを持っている可能性があります。しかし、別の場合、いくつかのプロセスがない場合があります (例: 画像処理)。選択したソリューションから、次のことが得られるはずです。

  • I should be able to create custom workflows for new vendors
  • Need to identify any failures that have been occurred within the workflow and perform retry mechanisms.
  • Should be able to execute some functions parallelly (Eg: Image processing)
  • Scalable
  • Opensource

そこで、Nifi/Airflow/Falcon などのワークフロー マネージャーを調べるように言われました。それらについていくつかの調査を行いましたが、最適な解決策を最終決定することはできませんでした。

注: Hadoop またはその他のクラスターを使用する必要はなく、データ フローの頻度はそれほど高くありません。

現在、Nifiの使用を考えています。とありますが、どなたかご意見をいただけないでしょうか。私のユースケースに最適なソリューションは何ですか?


12345678910