3

DCOS cli を使用して mesos で Spark ストリーミング ジョブを開始しようとしています。私は仕事を始めることができます。私のプログラムは、設定ファイルが cli パラメータとして渡されることを期待しています。dcos spark run --submit-argsでこれを達成するにはどうすればよいですか?

ファイルをダウンロードすることを期待して--files http://server/path/to//fileを試しましたが、うまくいきませんでした。ドライバーは起動しますが、構成ファイルが見つからないため失敗します。

また、jar と構成ファイルを tar としてロールアップして送信しようとしました。Mesos ログで、tar がフェッチされ、untar されたことを確認できます。config ファイルと jar ファイルの両方が作業ディレクトリに表示されます。しかし、ジョブは ClassNotFoundException で失敗します。spark-submit の開始方法に何か問題があったと思われます。

dcos spark run --submit-args="--supervise --deploy-mode cluster --class package.name.classname http://file-server:8000/Streaming.tar.gz Streaming.conf"

進め方のヒントはありますか？また、DCO で使用される基礎となる spark-submit コマンドは、どのログ ファイルで確認できますか?

4

2 に答える 2

2

Streaming.confドライバーに渡される単なる文字列です。ドライバーはそれを見ることができなければなりません。spark.mesos.urisこれを行う最も簡単な方法は、 [1]を介してサンドボックスにダウンロードすることを指定して、アクセス可能な場所に配置することです。または、リモートの場所からの読み取りをサポートするアプリケーションを作成し、CLI で場所を渡すだけでもかまいません。

--filesエグゼキューターにファイルを配置するために使用されますが、ファイルをドライバーに渡そうとしているため、機能しません。

[1] http://spark.apache.org/docs/latest/running-on-mesos.html

マイケル・ガンメルト
中間圏

于 2016-03-31T17:10:02.510 に答える