apache-spark - スパーク ストリーミングを使用したリアルタイム パケットの処理

Question

jnetpcap を使用してリアルタイム パケットを受信しました。スパーク ストリーミングを使用してライブ パケットからパケット ヘッダーやその他の詳細を抽出する方法を教えてください。

Answer 1

Spark ストリーミング プログラミング ガイドを読んだ場合は、ストリームにカスタム レシーバーを実装できることがわかります。ただし、実際のガイドにはほとんど例がなく、ページの下部に指定されている例と javadoc を読む必要があります。

このプロジェクトは、基本的に次のようなカスタム レシーバーです。

1. 伸びるReceiver
2. 実装onStartとonStop方法
3. storeストリームを通過するデータを使用してメソッドを呼び出します

それはそれと同じくらい簡単なはずです。パッケージのどの部分をどのように解析するかは、おそらくあなた自身の決定です。プログラミングガイドに従って、ソースレベルでパッケージをフィードし、独自のトランスフォーマーなどを作成するだけです。