問題タブ [storm-topology]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-storm - Apache Strom を 1.0.3 から 2.2.0 にアップグレードすると、すべてのワーカーが使用されるわけではありません
Apache Storm 1.0.3 から 2.2.0 にアップグレードしていますが、トポロジ タスクがすべてのワーカーで実行されておらず、Spout と同じワーカーでのみ実行されているという特有の問題に直面しています。
私は shuffleGrouping を使用しており、2 つのボルトと 1 つのスパウトの間に 6 つのワーカーと合計 51 のエグゼキューターを構成しています。トポロジを開始すると、6 つのワーカーすべてが期待どおりに開始されますが、スパウトを持つ 1 つのワーカーだけがすべての作業を行っています。
2.2.0 用に特別な構成が必要ですか。すべてのトポロジはバージョン 1.0.3 で正常に動作しています。
テストとして、Strom-starter から ExclamationTopology も実行していますが、1 つのワーカーだけがすべての作業を行っているという同じ問題が発生しています。
助けてくれてありがとう。
よろしく、
apache-kafka - Apache ストーム スパウトがボルトのすべてのエグゼキューターにタプルを発行していない
嵐 v1.2.2 各 16 コアの 6 ノード クラスターの環境があります。12 個のパーティションを持つ kafka トピックからメッセージを読み取るサンプル トポロジをデプロイしました。
構成
保留中の最大スパウトは 15 であるため、そのカフカ トピックに 20 個のメッセージを公開しようとしました。そのため、15 個のメッセージのみがスパウトから取得および発行されるはずでしたが、7 個のメッセージのみが Bolt-A に発行されたことがわかりました。これら 7 つのメッセージが Bolt-B に送信された後、Bolt-A はスパウトから残りのメッセージを受信しました。
したがって、理想的には、bolt-A はスパウトから 15 個のメッセージを取得し、これらの 15 個が確認されると、残りの 5 個のメッセージが取得されるはずです。しかし、7 つのメッセージだけがピックアップされ、8 つのエグゼキュータがアイドル状態で何もしていないことがわかりました。localOrSuffled および Suffled グループ化を試しましたが、常にアイドル状態のエグゼキュータはほとんどありません。利用可能なすべてのエグゼキュータに作業を均等に分散するための提案はありますか?