問題タブ [trident]

Trident トポロジのバランスを再調整するためのベスト プラクティスは何ですか? Storm Trident トポロジは、ストリームの並列化のヒントに従ってタスクの数を設定するようです。rebalance コマンドを実行すると、executor は <= # のタスクである必要があるため、executor の数を増やすことはできません。ストーム 9.0.1 を使用しています。任意のリードをいただければ幸いです。

トポロジに問題があります。ワークフローを説明しようとしています... 2 分ごとに ~500k のタプルを発行するソースがあります。これらのタプルはスパウトによって読み取られ、単一のオブジェクトのように 1 回正確に処理される必要があります (トライデントのバッチだと思います)。その後、bolt/function/what else?...タイムスタンプを追加し、タプルを Redis に保存する必要があります。

Jedis オブジェクト (Java 用の Redis ライブラリ) をこの関数クラスに使用して、すべてのタプルを Redis に保存する関数を使用してトライデント トポロジを実装しようとしましたが、展開すると、このオブジェクトで NotSerializable 例外が発生します。

私の質問は、Redis にこのタプルのバッチを書き込む関数を実装するにはどうすればよいですか? Webで読んでいると、関数からRedisに書き込む例や、トライデントのStateオブジェクトを使用する例が見つかりません(おそらく使用する必要があります...)

私の単純なトポロジ:

前もって感謝します

[編集: 今のところ、スイング タイマーを使用して独自のソリューションを手動で作成することになりました。これは、私のニーズに対して問題なく機能しているようです。私はまだパフォーマンスについて心配しており、誰かが以下の解決策を提案できる場合は、トライデントを支持して私の解決策を捨てても構わないと思っています. オンラインで調べてみると、トライデントがまだプロジェクトとして「生きている」かどうか疑問に思っています。注意: TimingFramework も試しましたが、自分のコードと比較して利点は見られませんでした。]

私はバックエンドの Java プログラミングには慣れていますが、GUI 側には不慣れで、Trident ライブラリはまったく初めてです。私たちの要件は、独立してフェードインおよびフェードアウトする多数のラベルを用意することです。そのため、すべてを手作業でコーディングするよりも、ライブラリを使用してこれを実現したいと考えています。

以下のテスト コードは、問題を再現します。TTGui が実行され、"HELLO WORLD" というラベルを追加するメソッドが呼び出されます。このメソッドは、Trident にラベルのアルファをアニメーション化するように要求します。TTLabel は、これを実現するために (およびその他の理由で) JLabel をサブクラス化します。

メインクラス:

ラベルのサブクラス:

現在の問題は、Trident がイベントをディスパッチするたびにエラーが繰り返されることです。

paintComponent の内容が正しくない可能性があることは認識していますが、コンパイルされ、デバッグモード (Eclipse) ではメソッドが呼び出されないようです。ですから、私が持っているものについてアドバイスがあればありがたいのですが、現在の主な問題はエラーです。

これは StackOverflow への私の最初の投稿です。この質問を改善できる方法があれば教えてください。

TridentState で提供される partitionpersist API を使用して、イベントのストリームをバッチで処理することができました。しかし今、このボルトの処理された値を発行し、次のボルトのイベントの別のバッチとしてそれらを収集したいと考えています。

Kafka + Storm + Trident + OpaqueTridentKafkaSpout でいくつかのパフォーマンスの問題が発生しています

以下に、セットアップの詳細を示します。

ストーム トポロジ:

Storm に使用している Storm.yaml は次のとおりです。

• Kafka で生成された各メッセージのサイズ: 11 KB
• データを処理するための各ボルト(NEO4JTridentFunction)の実行時間: 500ms
• ストーム ワーカーの数: 1
• Spout(OpaqueTridentKafkaSpout) の並列処理のヒント: 1

• Bolt/Function(NEO4JTridentFunction) の並列処理のヒント: 50

• Spout から約 12msgs/秒のスループットが見られます。

• Kafka で生成されるメッセージのレート: 150msgs/秒

Storm と Kafka はどちらも単一ノードの展開です。Storm からのはるかに高いスループットについて読みましたが、同じものを生成することはできません。より高いスループットを達成するために、Storm+ Kafka + OpaqueTridentKafkaSpout 構成を調整する方法を提案してください。この点での助けは、私たちを大いに助けてくれます。

ありがとう、