1

クラスターで Spark Streaming プログラムを実行したいと考えています。私のプログラムは私のマシンでローカルに正しく実行されますが、クラスターの問題で実行されます。実際、このエラーは次のように表示されます。

java.lang.NoSuchMethodError: breeze.linalg.squaredDistance$.distanceFromDotAndSub(Lbreeze/generic/UFunc$UImpl2;Lbreeze/generic/UFunc$UImpl2;)Lbreeze/generic/UFunc$UImpl2;

クラスター上にないのにローカルで実行されるのはなぜですか?!

次のようにそよ風の依存関係を追加しました。

<dependency>
  <groupId>org.scalanlp</groupId>
  <artifactId>breeze_${scala.version}</artifactId>
  <version>0.11.1</version>
  <scope>compile</scope>
</dependency>
4

1 に答える 1

0

これはおそらく、ローカルのクラスパスで依存関係が利用可能であるが、ワーカー ノードでは利用できないためです。依存関係を含む fat/uber jar を作成してから試してください。

これを参照

于 2015-04-21T20:41:40.113 に答える