問題タブ [spark-streaming]

SparkSQL と SparkStreaming を使用するスタンドアロンの spark scala アプリケーションを開発しました。

これは、spark 用に構成された Eclipse で正常に機能します。

私はmavenの初心者です。

Mavenを使用してこのアプリケーションをパッケージ化するには、以下のチュートリアルに従いました

http://ryancompton.net/2014/05/19/sample-pomxml-to-build-scala--jar-with-dependenciesjar/

しかし、次のエラーで終わりました。

アプリケーションをパッケージ化してクラスターで実行する方法についての解決策を提供してください。

私は Spark ストリーミングの概念の初心者であり、ソケットからの Spark ストリーミングを理解しようとして、過去 2 日間から立ち往生しています。Spark はソケットに渡されたブロックを読み取ることができます。ただし、読み取りブロックに対して操作は実行されません。

ここにスパークコードがあります

指定したポートに出力ストリームを作成するために netcat を実行しています

出力ストリームを作成しようとしました。これが私のJavaコードです

Spark はストリームで送信されたブロックを消費しますが、ストリーミングされたブロックで必要なアクションは実行しません。

Spark 出力コンソール

よろしくお願いします。前もって感謝します

jnetpcap ライブラリを使用してパケットを読み取ろうとしているときに、次のエラーが発生しました。何が原因でしょうか?

ただし、一部の Tcp 、 Udp パケットも読み取ることができました。