apache-spark - 自分でビルドした Breeze を Apache Spark に追加するにはどうすればよいですか?

Question

Breeze ライブラリにいくつかのメソッドを追加しました。これらのメソッドは IDE で確認できます。そして、自分でビルドした Breeze ライブラリを、Apache Spark に基づくプロジェクトに追加しようとしていました。ただし、プロジェクトをコマンド「sbt assembly」でパッケージ化してクラスターで実行すると、クラスターが実際に Breeze ライブラリを実行しなかったことを意味する「no such method xxx」というエラーがスローされます。自分でビルドした Breeze ライブラリをクラスターで実行する方法を誰か教えてもらえますか?

Answer 1

私は、spark が Breeze ライブラリ自体のいくつかのバージョンを使用し、アセンブリ内のカスタム .jar よりもそれらを好むと推測しています。カスタム ライブラリを使用して Spark のビルドを試すことができます。ライブラリをローカルの Maven リポジトリにインストールし、Apache Spark で指定してpom.xml、独自の Spark バージョンをビルドします。