問題タブ [apache-storm]

Stormデーモンを監視するためにスーパーバイザーをインストールしました。supevisorctl 実行可能ファイルを使用して、再起動、停止、開始などを行うことができます。しかし、Storm UI ( ip:8080) を確認すると、内部サーバー エラーが表示されます。bin/storm uiしかし、デーモンを (、、、を使用しbin/storm nimbusて)直接起動するbin/storm supervisorと、UI は問題なくポート 8080 に表示されます。その理由は何ですか？

プロジェクトで JSoup を使用しており、POMファイルで依存関係を宣言しました。それは問題なくコンパイルされ、問題なく実行されますが、 を使用しjar with all dependencies、依存関係の範囲を に変更した場合のみcompiledです。

このスコープを に変更してprovidedも、コンパイルは問題なく実行できますが、実行はできません。それは私に与えますClassNotFoundException。変数に必要な JAR ファイルを含めましたが、classpathまだpathこの問題に直面しています。

コンパイルオプションを使用して作業を開始できますが、提供されたオプションで実行できない理由が本当に頭の片隅にあるので、誰かが理由を理解するのを手伝ってくれたら本当にありがたいです.

以下は私が見ているエラーです：

以下は私のPOMファイルです：

以下は私のシステム変数です：

Twitter Stormに代わるものとして、さまざまな検索を行った後、あまり見つかりませんでした。具体的には、バッチ処理を使用しないストリーミング ビッグ データ処理ライブラリです。たとえば、Hadoop MapReduce はバッチ処理を使用します。

このような 100% Python のものはありますか?

redis サーバーから文章を読み込んで、各単語の出現回数を数えています。ここで、カウントに基づいて上位 10 語を計算したいと考えています。Redis サーバーから文を読み取るためのスパウトが 1 つ、文を単語に分割するボルトが 1 つ、単語をカウントするボルトが 1 つあります。

カウントに基づいて上位 10 語を見つけるには、どのようなアプローチが必要ですか?

Flume でできるように、Kafka でファンアウト (複製) できるかどうかは不明です。

Kafka で HDFS または S3 にデータを保存し、リアルタイム処理のためにそのデータの複製を Storm に送信したいと考えています。Storm の集計/分析の出力は、Cassandra に保存されます。Kafka から Storm にすべてのデータを流し、次に Storm から 2 つの出力を流す実装がいくつか見られます。ただし、未加工のデータ ストレージに対する Storm の依存関係を排除したいと考えています。

これは可能ですか？このようなドキュメント/例/実装を知っていますか?

また、Kafka は S3 ストレージを適切にサポートしていますか?

HDFS に保存するための Camus を見ました。このジョブを cron 経由で実行して、Kafka から HDFS にデータを継続的にロードしますか? 前のインスタンスが終了する前にジョブの 2 番目のインスタンスが開始された場合はどうなりますか? 最後に、Camus は S3 で動作しますか?

ありがとうございます。

私は素晴らしい記事「Storm トポロジーの並列性を理解する」に従って、Twitter の嵐を学ぼうとしています。

しかし、私は「タスク」の概念に少し混乱しています。タスクはコンポーネント (スパウトまたはボルト) の実行中のインスタンスですか? 複数のタスクを持つエグゼキューターは、実際にはエグゼキューターによって同じコンポーネントが複数回実行されていると言っていますが、正しいですか?

さらに、一般的な並列処理の意味では、Storm はスパウトまたはボルト専用のスレッド (executor) を生成しますが、複数のタスクを持つ executor (thread) によって並列処理に貢献するものは何ですか? スレッドは順次実行されるため、スレッドに複数のタスクがあると思います。スレッドは一種の「キャッシュされた」リソースになるだけで、次のタスク実行のために新しいスレッドが生成されるのを回避できます。私は正しいですか？

もっと時間をかけて調査した後、私は自分でこれらの混乱を解消するかもしれませんが、ご存知のように、私たちは両方ともスタックオーバーフローが大好きです;-)

前もって感謝します。

Storm と ElasticSearch を使用してリアルタイム ストリームのインデックスを作成しようとしていますが、この例外が発生しています。次のバージョンの ElasticSearch を使用しています

どこから見始めるべきかについての指針はありますか？

私は Storm プロジェクトを開発しており、ローカル モードで実行しています。私は過去数日間コードを構築してきましたが、今朝実行したところ、コンソールでこのエラーを受け取りました。

メイン関数のすべてをコメントアウトしたところ、次のようになりました。

cluster.submitToplogy 行で例外がスローされます。私の同僚は、自分のコンピューターでまったく同じプロジェクトをセットアップしており、行をコメントアウトしたところ、正常に動作しました。unzip プログラムをダウンロードしましたが、どこに置くべきか、またはこのエラーがスローされる理由がわかりません。誰にもアイデアはありますか？