scala - java.lang.NoClassDefFoundError: scala/reflect/ClassManifest

Question

Spark でサンプルを実行しようとすると、エラーが発生します。Sparkでプログラムを実行するには、pom.xmlにどのような変更を加える必要があるか教えてください。

Answer 1

maven ビルドに scala-reflect の依存関係を追加する必要があります。

<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-reflect</artifactId>
    <version>2.10.2</version>
</dependency>

Answer 2

Scala-Redis 2.9 クライアント (Scala 2.10 と互換性がない) を使用して同じ問題に遭遇し、scala-reflect への依存関係を含めることは役に立ちません。実際、scala-reflect は独自の jar としてパッケージ化されていますが、Scala 2.10.0 以降非推奨となっている Class missing は含まれていません (このスレッドを参照)。

正しい答えは、このクラスを含む Scala のインストールを指すことです (私の場合、Scala-Redis クライアントを使用している場合、McNeill の答えが役立ちました。SBT を使用して Scala 2.9.3 を指摘したところ、すべてが期待どおりに機能しました)。

Answer 3

私の場合、エラーは Kafka の API で発生します。から依存関係を変更します

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka_2.9.2</artifactId>
    <version>0.8.1.1</version>
</dependency>

に

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.6.1</version>
</dependency>

問題を修正しました。