apache-spark - Spark 2.0.0 でジョブをサブミットするためにまだファット jar を作成する必要がありますか?

Question

Spark 2.0.0 のリリースノートには、次のように書かれています。

Spark 2.0 では、本番環境のデプロイにファット アセンブリ jar が不要になりました。

• これは、ジョブをサブミットするためにもうファット jar を作成する必要がないということですか?

• はいの場合、どのように？したがって、ここのドキュメントは最新ではありません。

Answer 1

これは、ジョブをサブミットするためにもうファット jar を作成する必要がないということですか?

悲しいことに、いいえ。Sparks デプロイメント用の uber JAR を作成する必要があります。

リリース ノートのタイトルは非常に誤解を招くものです。実際の意味は、依存関係としての Spark 自体が uber JAR にコンパイルされなくなり、依存関係を持つ通常のアプリケーション JAR のように機能することです。SPARK-11157これについては、"アセンブリなしで Spark をビルドできるようにする" と呼ばれる詳細を参照し、 "Spark アセンブリを古き良き jar に置き換える"という論文を読んでください。 (コア、ストリーミング、SQL など) しかし、コードとlib/、関連するすべての依存関係を含むディレクトリを含むいくつかの比較的通常のサイズの JAR として。

本当に詳細が必要な場合は、このプル リクエストがいくつかの重要な部分に触れています。