問題タブ [trident]

私は Apache Storm の初心者で、Kafka のトライデント トポロジ、つまりTransactionalTridentKafkaSpoutを試しています。Storm UI 以外はすべて正常に動作します。トピックにデータを生成していないにもかかわらず、Storm UI に無効な発行/転送値が表示され続けます。トピックにデータがない場合でも、カウントが増加し続けることを意味します。Zookeeper、storm、kafka に保存されているデータ/ログを削除して、kafka トピックを再作成しようとしましたが、設定もしました

それでも問題は解決しません。

また、ストームクラスターを監視するためのCapillaryというツールに出くわしました。以下のプロパティを使用しています

ここでは、Kafka の埋め込み Zookeeper を使用しています。これでも、以下の例外が発生して機能していません。

いずれかのヘルプは素晴らしいでしょう。前もって感謝します。

構成とソースコードのスニペット:

トポロジ サマリー イメージ:

このドキュメント リンクから 、以下のコマンドを使用してトポロジの再調整が簡単であることを知ることができました

しかし、トライデント トポロジではフィルター/関数 (ボルト) に名前を付けることができないため、トライデント トポロジのバランスを取り直すにはどうすればよいでしょうか。または、特定のトポロジのすべてのコンポーネントに対して乗数を使用して並列処理数を増減する方法はありますか?

さまざまな Kafka トピックから複数の OpaqueTridentKafkaSpout を読み取っています。これらすべてのストリームからのデータが同じ一連の関数を通過するようにします。それを達成するための最良の方法は何ですか。別のストリームを作成し、各タプルを同じ関数セットに再度渡す必要がありますか? 以下のように？

Kafka からのデータのストリームを処理し、Redis と Cassandra にフィードする Trident トポロジを作成しています。Cassandra にデータを書き込むことができます。ここで、同じデータを Redis に書き込みたいと思います。

タプルを複製し、1 つが Redis に入り、もう 1 つが Cassandra に入る 2 つのフローに分岐する方法はありますか?

Core Storm では、プラガブル スケジューラを使用して特定のボルトを実行するノードを指定できます。Storm トポロジを Trident に再設計することを検討していますが、Trident トポロジを使用して特定のボルトをどのノードで実行する必要があるかを構成するのと同じ動作を得る方法がわかりません。Trident でスケジューリングは引き続き利用できますか? ありがとうございました。

トライデント初心者です。kafka からデータを読み取るトライデント トポロジを作成しています。トピック名は「テスト」です。私はローカルのカフカをセットアップしています。飼育係、カフカをローカルで始めました。そして、kafka でトピック「test」を作成し、プロデューサーを開いて「Hello Kafka!」というメッセージを入力しました。

トライデントを使用して、「test」トピックから「Hello Kafka」というメッセージを読みたいです。

以下は私のコードです。空のタプルを取得しています。

これは私の TestFilter クラスコードです

kafka プロデューサーで「テスト」トピックにメッセージを入力するたびに、最初の sysout が出力されますが、if ループは渡されません。「TestFilter が呼び出されました...」というメッセージが表示されるだけです。

私が作成した実際のデータを「テスト」トピックに取得したいと考えています。どのように？

Kafka からタプルを取得し、それらを 1 つのフィールドでグループ化し、グループ化されたタプル全体を HBase に保持するトライデント トポロジを構築したいと考えています。グループ化の理由は、単一のオブジェクトを配置する場合と比較して、複数の配置オブジェクトを使用すると HBase の配置操作が高速になるためです。オブジェクトを 1 つのフィールドでグループ化し、それらすべてのオブジェクトを 1 回の HBase API 呼び出しでPut挿入したいと考えています。Put

次のコードを書きましたが、すべてのタプルを HBase の「Put」タイプのオブジェクトに変換し、それらすべての Put オブジェクトを HBase に保持するコードをどこに記述すればよいかわかりません。

誰でも私を助けてもらえますか？