Scala で Spark Streaming を使用しようとしていますが、エラーが発生し、その理由がわかりません。
StreamingContext は、エラーを示す行です。
val sparkConf = new SparkConf().setAppName("App_StreamingConsumer")
val ssc = new StreamingContext(sparkConf, Seconds(2))
これらは 2 つのエラーです:
シンボリック参照が正しくありません。StreamingContext.class の署名は、利用できないパッケージ org.apache.hadoop の用語 conf を参照しています。現在のクラスパスから完全に欠落しているか、クラスパスのバージョンが StreamingContext.class のコンパイル時に使用されたバージョンと互換性がない可能性があります。
と：
クラス ファイル 'StreamingContext.class' の読み込み中に、欠落または無効な依存関係が検出されました。パッケージ org.apache.hadoop の term conf にアクセスできませんでした。それ (またはその依存関係) が見つからないためです。依存関係の欠落または競合がないか、ビルド定義を確認してください。(-Ylog-classpath を指定して再実行し、問題のあるクラスパスを確認してください。) 「StreamingContext.class」が互換性のないバージョンの org.apache.hadoop に対してコンパイルされた場合は、完全な再構築が役立つ場合があります。
この質問は以前に尋ねられました: Spark Streaming StreamingContext エラー エラーは依存関係の問題から来ているようですが、私の依存関係がすべて順調であることがわかる限り.