現在 DataProc 1.1 で提供されている GRPC (1.01)、Guava (19.0)、および Protobuf (3.0.0) の新しいバージョンに依存する Java ライブラリ (youtube/vitess) を使用する必要がある scala Spark ジョブに取り組んでいます。画像。
プロジェクトをローカルで実行し、maven でビルドすると、これらの依存関係の正しいバージョンが読み込まれ、ジョブは問題なく実行されます。ジョブを DataProc に送信する場合、これらのライブラリの DataProc バージョンが優先され、ジョブは解決できないクラス関数を参照します。
DataProc で Spark ジョブを送信するときに、依存関係の依存関係の適切なバージョンが確実に読み込まれるようにするための推奨される方法は何ですか? 私は、DataProc によって提供されているこれらのパッケージの古いバージョンを使用するために、このライブラリのコンポーネントを書き直す立場にありません。