8

イベント ハブに出力するサービスを使用しています。

その出力を保存し、Apache Spark で実行されるバッチ ジョブによって 1 日 1 回読み取られるようにします。基本的には、すべてのメッセージを BLOB にダンプするだけです。

イベント ハブから Blob Storage へのメッセージをキャプチャする最も簡単な方法は何ですか?

私たちが最初に考えたのは Streaming Analytics の仕事でしたが、生のメッセージ (CSV/JSON/Avro) を解析する必要があり、現在の形式はそれらのどれでもありません。

更新メッセージ形式を変更することで、この問題を解決しました。メッセージをブロブに保存する影響の少ない方法があるかどうかを知りたいです。Streaming Analytics が登場する前に、EventHub にはこの問題に対する解決策がありましたか?

4

4 に答える 4

5

独自のワーカー プロセスを作成して、EventHub からメッセージを読み取り、それらを Blob Storage に格納することができます。EH のメッセージは設定された保存期間中残るため、これをリアルタイムで行う必要はありません。EH を読み取るクライアントは、EH メッセージのパーティション ID とオフセットを追跡することによって、どのメッセージが処理されたかを管理する責任があります。これを非常に簡単にし、拡張性に優れた C# ライブラリがあります: https://azure.microsoft.com/en-us/documentation/articles/event-hubs-csharp-ephcs-getstarted/

于 2015-08-19T04:33:22.990 に答える