問題タブ [apache-apex]

実行中の Apex アプリケーションで別のソースの入力演算子を追加することはできますか? 例: 本番環境で、Apex アプリケーションを実行して入力ソースからテキスト ファイルを読み取り、Kafka ソースをその入力演算子とともに同じ DAG に追加したいと考えています。

複数のオンプレミス データベースからクラウドに顧客データを同期する必要があります。2 番目のステップでは、(異なるタイプの) 重複を削除するために、そこにある顧客データをクリーンアップする必要があります。そのクレンジングされたデータに基づいて、データ分析を行う必要があります。

この目標を達成するために、使用できるオープン ソース フレームワークまたはクラウド ソリューションを探しています。Apache Apex と Apache Kafka を調べましたが、これらが適切なソリューションであるかどうかはわかりません。

そのようなタスクに使用するフレームワークのヒントを教えてください。

どちらも一度にイベントを処理するストリーミング フレームワークであるため、これら 2 つのテクノロジ/ストリーミング フレームワークのコア アーキテクチャの違いは何ですか?

また、一方が他方よりも適切である特定のユースケースは何ですか?

ランダムな文字列を生成するために malhar ライブラリを使用するオペレーターで構成される apex アプリケーションを実行しようとしています。pom.xml ファイルに malhar-library 依存関係を含めても、mvn clean package -DSkipTests コマンドで次のエラーが発生します

パッケージ org.apache.apex.malhar.lib が存在しません

私は現在、apache apexに取り組んでいます。ウィンドウ ID 59 に達するとアプリケーションがリセットされ、0 から再起動します。実行中のデータノードは 1 つだけであり、この操作で除外されるノードはないというエラーが表示されます。