問題タブ [apache-storm]

次の問題があります。

現在、mysqlクエリを介して同じデータベースからデータを同時に取得する必要がある複数の並列スレッドを扱っています（これにはJavaを使用しています-より正確には、Javaを使用しています）。しかし、これを並行して行うのではなく、順次実行しているように見えるため、プロセス全体に必要な時間は、多かれ少なかれ、すべてのスレッドからの各クエリの合計時間です。

実際にこれらのスレッド (および同じデータベースからのクエリ) を並行して実行する方法はありますか? 私は本当にプロセスを大幅にスピードアップする必要があります。

残念ながら、コードの行数が多すぎて、有用な抜粋をいくつか紹介することができません...

この件に関して引き続きご協力いただけることを願っています。

ありがとう1

私はStormで遊んでいますが、Stormが（可能であれば）集約時に（タンブリング/スライド）ウィンドウサイズをどこで指定するのか疑問に思っています。たとえば、Twitterで過去1時間のトレンドトピックを検索したい場合。ボルトが1時間ごとに結果を返すように指定するにはどうすればよいですか？これは各ボルト内でプログラム的に行われますか？それとも「ウィンドウ」を指定する方法ですか？

1 日あたり最小 "2 ～ 3 テラバイト" のデータを処理する必要があるビジネス ユース ケースでは、"Hadoop & Storm" に関する分析を行っていました。

言うまでもなく、「Storm」は受信するビッグデータを処理する効率が優れているため印象的ですが、「Storm」が「テラバイト」のデータを処理するのに十分な能力を持ち、同時にリアルタイムの結果を提供できるかどうかはわかりません。いいえ ？

誰か説明してくれませんか？

ありがとう、ガジェンドラ

私はMavenの初心者で、strom kafka TestTopologyスパウトを実行しようとしていますが、ストームカフカスパウトの下のストームカフカcontribでpomファイルが提供されていません。Leinを使用しましたが、どちらも機能しませんでした。私はまた、lein pomを使用して自分でpomを作成しようとしました（そしてそれを変更しました）が、どちらも機能しませんでした. 私はプロジェクトをトップダウンで構築しています: 私は storm-conrib-master で mvn を実行し、それはより高いレベルを正常に構築しますが、どのようにしたら、Storm starter の m2-pom を使用して TestTopology.java を実行できますか?これ：

project.clj設定とleinも使用しましたが、どちらも機能しませんでしたが、leinは私のものではありません。Maven の設定は次のとおりです。

Apache Maven 3.0.4 Maven ホーム: /usr/share/maven Java バージョン:

1.6.0_33、ベンダー: Sun Microsystems Inc.

エンコーディング: UTF-8 OS 名: "linux"、バージョン: "3.2.0-32-generic"、アーキテクチャ: "amd64"、ファミリ: "unix"

TestTopology.java はどのように実行すればよいですか?

コンパイル エラーが発生します。

[エラー] プロジェクト storm-kafka で目標 org.apache.maven.plugins:maven-compiler-plugin:2.0.2:compile (default-compile) を実行できませんでした: コンパイルの失敗: コンパイルの失敗: [エラー] Desktop/storm- contrib-master/storm-kafka/src/jvm/storm/kafka/trident/StaticBrokerReader.java:[13,7] ジェネリックは -source 1.3 ではサポートされていません [エラー] (ジェネリックを有効にするには -source 5 以上を使用してください) [エラー] マップ ブローカー = new HashMap(); [エラー]

こんにちは、基本的な Storm アプリケーションをセットアップして、ツイートのストリームを受信し、MySQL データベースに保存します。アプリケーションは、最初の ~ 23 時間ほどは問題なく動作し、その後、次のエラーが発生し始めます。

これを数回行うと、死にます。標準の JBDC コネクタを使用して、Java からデータベースに接続しています。DB接続を保存および設定するための関数のコードは次のとおりです。

08003 エラーが原因でクラッシュしていることが明らかになった後、そのエラーがスローされた場合は、接続のセットアップを再試行する必要があると判断しましたが、それも役に立ちませんでした。この問題を解決するための正しい方向に私を向けることができますか?

問題があります。問題は理解できますが、解決策が見つかりません。クラスターがシャットダウンされないため、IOExceptionがスローされます。Windowsでは一時フォルダーが許可されていないため、I/Oメソッドが機能しません。つまりこのパスです。

C：\ Users \ Mert \ AppData \ Local \ Temp \ 8bbdc8e5-a753-40f3-afe0-0c2fcc1c25a0 \ version-2 \ log.1

Stormは、シャットダウンのためにログファイルを削除できます。

Eclipse.exeとjavaw.exeの管理者モードを試しましたが、機能しません。どうすればよいですか？

IO例外スタックトレース：

exception.detailMessage-> java.io.IOException：ファイルを削除できません：C：\ Users \ Mert \ AppData \ Local \ Temp \ c3c9b21b-7817-4b63-92ae-555a49743d9d \ version-2 \ log.1

exception.stackTrace-> StackTraceElement [0]（id = 130）

実行後のコンソール出力：

ロギングに log4j を使用する Storm クラスターを実行しています。標準のファイルベースのロギングに加えて、kafka アペンダーを追加したいと考えています。

私のlog4j構成ファイルは次のようになります。

意図したとおりに機能するファイル アペンダーと定義がまったく同じであるにもかかわらず、kafka アペンダーが定義された ConversionPattern を使用しないことを除いて、すべて正常に機能します。kafka アペンダーを機能させるには、どのように構成を変更する必要がありますか?

Stormをインストールしてみます。

Storm にはHadoopのようなディストリビューション(cloudera、mapr など) がありますか? または、すべて自分でインストールする必要があります (ZEROMQ、GZMQ など)。

バージョンはどうですか？使用するバージョンはどこにありますか? Storm には 0.8.1 があることがわかります。ZeroMq はすでにバージョン 3.2.2 です。

既存のDBをマッピングする2つの単純なクラスがあります。

File空でないセットを持つすべてのオブジェクトを見つけられるようにしたいだけですFile.filedownloads。Fileこれは、すべてのオブジェクトをクエリし、フィールドを手動でフィルタリングするだけでPythonで実行できますが、File.filedownloadsこれを実行するためのよりクリーンな方法があると思いました（これは機能しません:)）：

私は最初のものがSQLAlchemyで動作することを知っています：

ストームの導入を検討していますが、少し心配です。現在、Hadoop MapReduce を実行しており、処理の一部を MapReduce から Storm プロセスに移行したいと考えています。これは一部であり、すべてではないことに注意してください。MapReduce 機能はまだいくつかあります。

同じハードウェア上で Storm と Hadoop の展開を (潜在的に) 維持できる Mesos を見つけましたが、他にもいくつかの問題がありました。

• Storm と Hadoop の間で任意にスロットを「借りる」ことができるのが理想的な状況だと思います。元。どちらも必要に応じて同じリソースを使用します。残念ながら、これは固定展開であり、EC2 などのような「クラウド ベース」ではありません。

• Storm 環境でのボトルネックを回避したいと考えています。理想的なケースは、必要に応じてより多くのボルトのインスタンスを "スピンアップ" (またはその逆) することです。これは可能/現実的ですか?

• トポロジの「再起動」は、かなり費用のかかる操作のように思えますが、それが実際にオプションであるかどうかはわかりません。理想的には、可能な限りシームレスにしたいと思います。

この問題に正しく取り組んでいますか? 基本的に、Storm トポロジは MapReduce バッチ ジョブを「フィード」します。一部の処理はストリーミング方式で処理でき、Storm トポロジとしてははるかに優れていますが、一部はバッチ処理が必要です。

私の特定の質問に対応していなくても、一般的なフィードバックは大歓迎です。現時点では、これは探索的な段階であり、完全に間違った方法でアプローチしている可能性があります。