問題タブ [apache-storm]

TridentTopologyファイルから読み取り、単一のスパウトを使用して集計を発行するために使用しています。スーパーバイザ ノードが 1 つの場合、トポロジは正常に機能し、スパウトは正常に出力されます。ただし、2 番目のスーパーバイザ ノードが追加されると、スパウトは放出を停止します。Storm UI を使用して、2 つのスーパーバイザー ノードがあることを確認できました。両方のノードのスーパーバイザー ログまたはワーカー ログ ファイルにエラーはありません。

Maven を使用して Java プロジェクトを構築していますが、成功しませんでした。では、プロジェクトを構築するために pom.xml で必要な必須タグとそれに対応する値を教えてください。また、コマンドラインからストームの依存関係を手動で追加するにはどうすればよいですか?

プロジェクトの私のディレクトリ構造:

最初に私はMaven Linkを試し、次のように作成しましたpom.xml:

しかし、その後私は使用しますmvn package。この例外をスローします：

その後、このリンクMaven リンク 2を使用して、次のように pom.xml を作成しました。

今回は、この例外をスローします:

クラスを次のように変更しましWordCountたWordCountTopology。

ここで、単語を file に書き込みますabc.txt。

WordCountTopologyをローカル モードで実行したとき(を使用LocalCluster)、問題なく動作しました。しかし、(StormSubmitter.submitTopology()メソッドを使用した)分散モードで実行している場合、メソッドがまったく実行されていないかのように、WordCountクラスは単語を書き込みませんでした。誰か私にアイデアを教えてもらえますか？どうもありがとう！abc.txtexecute()

PSニンバス、スーパーバイザー、UI、飼育係は正常に動作していると確信しており、127.0.0.1:8080 でタスクを確認できます。

スパウトを介して 1 つのデータベースからデータを取得し、そのデータを処理して、trident を使用して別のデータベースに保存したいと考えています。スパウト (トライデントでサポートされている IRichSpout を実装する別の Java クラス) をオブジェクトとして出力します。それをトライデント トポロジに渡して処理 (レコード数のカウント) し、データベースに保存する必要があります。

新しいストリームはスパウトを入力として受け取ります。つまり、構文は次のとおりです。

しかし、スパウトによって放出されたオブジェクトを、トライデントが処理してデータベースに保存するためのストリームへの入力として提供したいので、どのようにスパウト クラスをトライデント内に持ってきて、それを新しいストリームに渡すことができますか、スパウトとスパウトの両方を組み合わせる必要がありますか?トライデントと同じクラス??

誰か助けてくれませんか.....

mavenを使用してローカルモードでstorm-0.8.1とzookeeper-3.3.3を使用してwordcountの例を実行しようとしています。しかし、このコマンドを実行するたびに、次のエラーが発生します。

mvn exec:java -Dexec.mainClass="com.test.newpackage.TopologyMain" Dexec.args="resource/words.txt"

以前に検索して、zookeeper 3.4.5 を使用していたことがわかりました。それで、飼育係を 3.3.3 に変更しました。しかし、まだ実行できません。誰かが私のコードを参照したい場合は、ここにリンクがあります

ストーム トポロジを記述したときに、タプルの順序がスパウトが出力する順序と必ずしも同じではないことがわかりました Thread.sleep()。手続きが早くなります）。

スパウトまたはボルトによって放出されるタプルの順序を確保する方法を誰か教えてもらえますか? どうもありがとう！

API経由で膨大な量のXMLデータを受信して​​います。この大規模なデータ セットを処理するために、Hadoop で処理することを計画していました。

Hadoop にデータを効率的に取り込む方法を理解するために、あなたの助けが必要でした。利用可能なツールは何ですか? このデータをリアルタイムにする可能性はありますか?

入力してください。

ご協力いただきありがとうございます。

ボルトがそれにアクセスし、そのオブジェクトに基づいてさらに処理を実行できるように、トポロジを作成するときにオブジェクトを渡す必要があります。オブジェクトを経由して渡すことは可能TopplogyContextですか? または、ボルトがハンドル/コントロールを持つことができるように送信する前に、トポロジを送信するときにオブジェクトを渡す他の方法はありますか?

すべてのボルトがアクセスできるようにコンテキストを介してオブジェクトを渡す必要があり、そのトポロジのすべてのボルトでコンストラクターの実装を強制する必要はありません。それで、同じことをするための API が存在するかどうか知りたいですか?