非常に高いレベルでは、マルチテナント プラットフォーム インターフェイスを提供して、ユーザーが「プロジェクト」を作成できるようにします。これは、RSS フィード、SQL Server クエリ、およびファイルの場所など、さまざまなプロデューサー タイプの Kafka トピックに変換されます。
たとえば、RSS データを取得するには、Kafka を作成してスケジュールに従って RSS データをフェッチする必要があると思います。そのため、構成ファイルではなく、新しいマルチスレッド ワーカー (またはワーカーへのジョブ) を動的に追加する必要があります。
アプリケーション抽象化レイヤーは、ユーザーを Kafka および ElasticSearch から分離します。コントロール センターからすべてのユーザーにアクセスを許可することはできません。
ある種のマネージド サービスを提供する別のユース ケースでは、CC を使用できます。
この使用法を考慮して、これを達成するための適切な方法について詳細を取得したいと思います-まだいくつかのギャップがあるようです-つまり、トピックを動的に作成する必要があるため、構成ファイルを使用できません。
Kafka と Java を使用してデータ パイプラインとワーカーをプログラムまたは動的に作成するにはどうすればよいですか?