問題タブ [apache-samza]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - Scala エラー: バインドされていないプレースホルダー パラメーターとパターン マッチング条件
パターン マッチングと条件を組み合わせようとしていますが、このコード (これは Samza のタスクです):
このエラーを返します:
エラーについて何か考えがありますか？
ありがとうございました
よろしく
ジャンルカ
neo4j - Apache Samza ローカル ストレージ - KV ストアの代わりに OrientDB / Neo4J グラフ
Apache Samza は、ローカル ストレージのストレージ エンジンとして RocksDB を使用します。これにより、ステートフルなストリーム処理が可能になります。ここに非常に優れた概要があります。
私のユースケース:
- Apache Kafka などのシステムから取得した、処理したいイベントの複数のストリームがあります。
- これらのイベントは状態を作成します。追跡したい状態は、以前に受信したメッセージに基づいています。
- 計算された状態に基づいて、新しいストリーム イベントを生成したいと考えています。
- 入力ストリーム イベントは高度に接続されており、OrientDB / Neo4J などのグラフは、データをクエリして新しいストリーム イベントを作成するための理想的な媒体です。
私の質問：
KV 以外のストアを Samza のローカル ストレージとして使用することはできますか? OrientDB / Neo4J でこれを行ったことがあり、例を知っている人はいますか?
scala - Samza を使用して Kafka トピックにパーティションを作成するにはどうすればよいですか?
Kafka トピックからすべてのメッセージを読み取り、新しいトピックに新しいメッセージを書き込むいくつかの Samza ジョブがあります。新しいメッセージを送信するために、Samza に組み込まれている OutgoingMessageEnvelope を使用しています。また、MessageCollector を使用して新しいメッセージを送信します。次のようになります。
これを使用して Kafka トピックにパーティションを追加する方法はありますか? ユーザーIDなどでのパーティション化など。
または、もっと良い方法があれば、私はそれを聞きたいです!
real-time - ローリング期間に欠落している予期されるイベントの Apache Storm 集計ルール
私の使用例は、バッチ ジョブを使用するのではなく、リアルタイムで X 時間後に予想されるイベントが受信されなかったエンティティを特定することです。例えば：
時間 T に PaymentInitiated イベントを受け取ったが、T+X までに PaymentFailed / PaymentAborted / PaymentSucedded のいずれも受け取っていない場合は、PaymentInitiated イベントの詳細とともに PaymentStuck というトリガーを発生させます。
一定の時間間隔ではなく、各イベントで期間 X をローリングしているため、Apache Storm でそのようなユースケースをモデル化するにはどうすればよいですか。
ありがとう、ハリッシュ
real-time - ローリング期間で予期されるイベントが欠落している場合の Apache Samza 集計ルール
私のユースケースは、期待されるイベントが X 時間後にリアルタイムで受信されなかったエンティティを特定することです。
例: 時間 T に PaymentInitiated イベントを受信したが、T+X までに PaymentFailed / PaymentAborted / PaymentSucedded のいずれも受信しなかった場合、PaymentInitiated イベントの詳細と共に PaymentStuck というトリガーを発生させます。
一定の時間間隔ではなく、各イベントの期間 X をローリングするため、Apache Samza でそのようなユースケースをモデル化するにはどうすればよいでしょうか。
ありがとう、ハリッシュ
hadoop - HDFS で Samza ジョブをデプロイして実行するには?
HDFS に保存されている Samza ジョブを使用して、Samza ジョブをリモート システムで実行したいと考えています。石炭マシンで Samza ジョブを実行する例 ( https://samza.apache.org/startup/hello-samza/0.7.0/ ) には、tar ファイルの作成、tar ファイルの解凍、シェル スクリプトの実行が含まれます。これは tar ファイル内にあります。
ここでの HDFS の例は、まったく十分に文書化されていません ( https://samza.apache.org/learn/tutorials/0.7.0/deploy-samza-job-from-hdfs.html )。tar ファイルを HDFS にコピーしてから、非 HDFS の例の他の手順に従うように指示されています。
これは、現在 HDFS に存在する tar ファイルを HDFS 内で解凍する必要があることを意味し、次に、解凍した tar ファイルでシェル スクリプトを実行する必要があります。しかし、hadoop fs シェルで HDFS tar ファイルを untar することはできません...
tar ファイルを untar しないと、run-job.sh にアクセスして Samza ジョブを開始できません。
誰かがこれを機能させることができましたか?