問題タブ [trident]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - ストーム中の DRPC サーバー エラー
以下のコードを実行しようとするとエラーが発生します..ここに何かが欠けているかどうかわかりません..出力はどこに表示されますか?
エラー
java.lang.RuntimeException: backtype.storm.storm の backtype.storm.drpc.DRPCSpout.open(DRPCSpout.java:79) のトポロジ用に DRPC サーバーが構成されていません。 .daemon.executor$fn__5802$fn__5817.invoke(executor.clj:519) at backtype.storm.util$async_loop$fn__442.invoke(util.clj:434) at clojure.lang.AFn.run(AFn.java:24) ) java.lang.Thread.run(Thread.java:744) で
java - Storm Trident のバッチ サイズ
TRIDENT で BATCH SIZE (バッチに 10000 レコードを含める例) を設定する方法を知りたいです。コードに以下の構成があり、これにより、Kafka からバッチごとに約 250 レコードがフェッチされます。これを 10000*1024 に増やすことはできますか? または、バッチごとのレコード数を設定する方法があります。
apache-storm - トライデント ストームからメモリ グリッドへの書き込み (Apache Ignite)
トライデント ストームからメモリ グリッド (Apache ignite) にデータを読み書きする方法について、誰かが光を当てることができますか。トライデント ストームからメモリ グリッドに接続する方法に関する情報やドキュメントが見つかりません。
database - Apache Storm、フレームワークからのデータを永続化しますか?
プロジェクトでは Kafka-storm を使用しています。嵐では、変換に複数のボルトを使用します。しかしその前に、POC の一環として、データを DB に永続化したいと考えています。どのフレームワークを使用する必要がありますか? 使用できる BigData シナリオの場合は? トライデントはここに適用できますか? 永続性のために、Hibernate/JPA のようなものを探しています。何が使えますか？可能であれば、これのサンプルコードを提供してください。
apache-storm - ストーム トライデントのバッチは同時に処理されますか?
トライデント バッチが並行して実行されるかどうか、つまり一度に複数のバッチを実行できるかどうかを知りたいです。
これとは別に、個別に投稿するには小さすぎる質問がいくつかあります。それらが十分に大きい場合は、コメントして個別に投稿してください。
バッチ内の特定のタプルのみの処理が失敗した場合はどうなりますか?
その後、バッチが再生され、以前に正常に処理されたタプルが再処理されますか? たとえば、単語カウントでは、すべてのタプルに単語が含まれていますが、正常にカウントされたタプルはわずかでしたか? たとえば、manという単語が 3 つあり、カウントが 2 しかない場合、1 つのタプルが処理に失敗したことを意味しますか?
このチュートリアルでのみ、以前のtxidが保存されます。以前のトランザクション ID はどうですか?
たとえば、3 つのバッチ 1、2、3、4 があります。ここで、バッチ #1、#2 が実行された後、バッチ #1 が再生されます。その場合、txid は 2 になります。これは、最後に処理されたバッチがバッチ #2 であり、バッチ #1 が以前に処理されたかどうかを認識する方法がないためです。その場合、バッチは順番に実行する必要があります。つまり、バッチ #1 が正常に終了するまで、バッチ #2 を実行できません。その場合、バッチを実行する際の並列処理はどこにありますか?
トポロジ内のバッチで特定の機能だけが正しく実行されない場合はどうなりますか?
たとえば、メッセージをデータベースに永続化する機能と、kafka キューに生成する機能の 2 つの機能があります。ここでは、データベースへの永続化は成功していますが、いくつかのノード障害 (たとえば) が原因で、kafka キューへのプッシュは失敗しています。次に、その特定のバッチに対して実行される kafka キューにプッシュする関数のみが必要です。トライデントで行う方法はありますか？このために、txid だけでなく、その txid に対して処理される関数のリストも保存する必要があります。どうすればそれができますか？
apache-storm - アグリゲーションなしでトライデント トポロジを作成する方法は?
Trident API の使用を考えているタプルをバッチで処理したいと考えています。ただし、ここではバッチで実行する操作はありません。すべてのタプルは個別に処理されます。ここで必要なのは、すべてのタプルが 1 回だけ処理されるように、1回限りのセマンティクスだけです。これが、Trident を使用する唯一の理由です。
どのタプルが処理されたかの情報を保存して、バッチがリプレイされたときに、それがすでに処理されているときにタプルが実行されないようにしたい。
トポロジにはpersistentAggregate()メソッドが含まれていますが、いくつかの集計操作が必要ですが、すべてのタプルが個別に処理されるため、一連のタプルに対して実行する集計操作はありません.
ここでは、タプルが受ける機能は実行するには細かすぎます。そのため、コンピューティング リソースと時間を節約するために、バッチで処理することを検討しています。
では、タプルをバッチとして消費するが、まだバッチ操作 (ワードカウントなど) を実行しないトポロジを作成するにはどうすればよいでしょうか?