問題タブ [apache-storm]

私はストームを初めて使用します。クラウドでストームを実行しようとしているため、github の storm-deploy パッケージを使用していました。しかし、私が何か間違ったことをしている場合は、私を修正してください:

• -インスタンスを起動する必要があります
• -すべてのソフトウェアを手動でダウンロードします (java、leinenin など......)
• -ストームの設定
• -ランストーム

では、ストームを実行するために必要なパッケージに付属する Amazon イメージをご存知ですか? または、誰かが bash スクリプトを共有して、必要なすべてのインストールを行うことができるかもしれません。それとも私が何か間違ったことをしているのかもしれませんか????

アップストリーム システムがメッセージ キューでメッセージを送信する既存のセットアップがあり、これらのメッセージを処理します。コンテンツは xml であり、単にアンマーシャリングします。このアンマーシャリング ステップの後に、db への書き込み (関連する列に関連する値を配置するため) が続きます。 . このシステムは、より多くの上流システムと連携するように設定されており、ボリュームは 1 日あたり 40 mm のピーク サイズに増加する予定です。

現在の処理方法は、キューにリスナーを配置し、アンマーシャリングとその後のデータベース書き込みを行うプロデューサーとコンシューマーの複数のスレッドを配置することです。

私の質問: このプロセスは、Storm のユース ケース シナリオに適合しますか? つまり、MQ をスパウトにすることができます。アンマーシャリングするボルトが 2 つあり、これが次のボルトのスパウトになり、db に書き込みますか?

はいの場合、どのようなメリットがありますか? 面倒なマルチスレッド プロデューサー/ワーカー パターンのコードとはお別れですか。上記のように単純な場合、生産者/消費者シナリオへの従来のマルチスレッドアプローチに頼る場所/理由私のポイントは、従来のアプローチと比較したときにストームが輝き始めるデータ量/頻度があることです.

PS：私はこれに非常に慣れていないため、これを理解しようとしており、考え方が正しいかどうかを確認したいと考えています

よろしく、 CVM

私はストームで 1 つのことに苦労しています。したがって、全体のアイデアは次のとおりです。

1. ストーム (おそらく DRPC サーバー) に要求を送信します。リクエストは、ストームにストリームのソースを伝えます。例: 2 つのファイル1 - '/var/log/syslog'と2- ' /var/log/udev' . 「ストーム」にリクエストを送信して、どのファイルを処理するかを伝えたいです。

わからないこと:

「ストーム」にリクエストを送ると言いましたが、どこに送ればいいですか？(私は、DRPC サーバーがどのソースをトポロジーに送信する必要があるかを制御していると仮定します。しかし、DRPC サーバーを実装する方法はDRPCServer server = new DRPCServer()?では、指定されたソースを使用して開始するにはどうすればよいですか?メソッドSpoutにリクエストを送信する必要があるということですか?open()

スパウトに実際のデータを渡す方法を理解するのに苦労しています。たとえば:

次の 2 つのファイルがあります (正常に動作しています)。

と

将来の処理のためにこれらのランダムな行をスパウトに渡したいと想像してください。私はこれを試していました:

そして nextTuple() より:

しかし、この構造は機能しません。常にエラーが発生"Pipi seems to be broken..."するか、このコードのさまざまなバリエーションを試すと、プロセスがブロックされ、Storm が NextTuple をリッチにすることはありません。私の問題を解決するのを手伝ってください。または、誰かが同様のことを行う方法の例、またはアドバイスを教えてください。ありがとうございました

scikit Machine Learning API ( http://scikit-learn.org/ )を使用して、タプルに対して重い処理を行うBolt ( https://github.com/nathanmarz/storm )を実装したいと考えています。

例えば ​​-

これは可能ですか？クラスター内の各ノードに sklearn とそのすべての依存関係がインストールされていますか?

クラスターで実行しているストーム トポロジの次のコードがあります。

デバッグすると、次のcleanup()メソッドがクラスで実行されませんWordCounter...

...そして、トポロジーの実行が終了しません。