1

コマンドを使用して Spark をインストールした AWS で Mesos DCOS クラスターを実行していますdcos package install spark。DCOS CLI を使用して Spark ジョブを正常に実行できます。dcos spark run ...

Mesos クラスター内で実行されている Docker コンテナーから Spark ジョブを実行したいと考えていますが、実行中の Spark インスタンスに到達する方法がよくわかりません。DCOS CLI を使用してクラスタの外部から同じジョブを実行するのではなく、Dockerコンテナにspark-submitコマンドを実行させて、Spark デプロイメントにジョブを送信させるという考えです。

現在のドキュメントは、DCOS CLI を介して Spark を実行することにのみ焦点を当てているようです。クラスター内で実行されている別のアプリケーションから Spark デプロイメントに到達する方法はありますか?

4

1 に答える 1

1

DCOS IOT デモでは、似たようなことを試してください。https://github.com/amollenkopf/dcos-iot-demo

この人は、spark docker を実行し、マラソン アプリで spark-submit します。この Marathon 記述子を確認してください: https://github.com/amollenkopf/dcos-iot-demo/blob/master/spatiotemporal-esri-analytics/rat01.json

于 2016-09-15T15:10:50.427 に答える