問題タブ [dcos]

spark-cassandra-connectorライブラリに依存する Mesos クラスターで Spark ジョブを実行しようとしていますが、失敗し続けます

私がスパークのドキュメントから理解しているように

JAR とファイルは、executor ノードの各 SparkContext の作業ディレクトリにコピーされます。... ユーザーは、--packages を使用してコンマ区切りの maven 座標のリストを指定することにより、他の依存関係を含めることもできます。

しかし、pucker-assembly-1.0.jarタスクjarのみが配布されているようです。

私はscala 2.10.6でspark 1.6.1を実行しています。そして、spark-submitこれが私が実行しているコマンドです：

では、なぜspark-cassandra-connectorすべてのスパーク実行者に配布されないのでしょうか?

次のjson構成でMesosphereにSparkサービスをインストールしました。Sparkがslave_publicの役割を使用することを望んでいました。

dcos パッケージ インストール --options=my-spark.json スパーク

しかし、/var/log/message で、ロール * が使用されており、オファーが拒否されていることがわかります。マラソン UI は、「待機中」状態のフレームワークを表示します。

デフォルトの役割を上書きすることは可能ですか?

DC/OS クラスターを作成したばかりで、からデータを読み取る単純な Spark タスクを実行しようとしています/mnt/mesos/sandbox。

そして、私はアプリをデプロイしています

残念ながら、タスクは次の例外で失敗し続けます

ファイルタイプが明示的に に設定されているのに、Spark が HDFS に接続しようとするのはなぜfile://ですか?

sc.textFile("file:///")HDFSのセットアップは必要ないと思いました。

Azure Container Service を使用して VM クラスターをセットアップしました。コンテナー オーケストレーターは DC/OS です。3 つのマスター ノードと 3 つのスレーブ エージェントがあります。

Marathon を使用してクラスターで起動しようとしている Docker アプリがあります。起動するたびに、3 つのノードの CPU 使用率が常に 0 であることに気付きます。つまり、アプリがスケジュールされていません。一方、他の 3 つのノードの CPU 使用率はほぼ 100% です。(アプリケーションをスケーリングすると) その時点で、スケーリングが停止し、Marathon は Mesos からのリソース広告を「待機中」の状態を示します。

アプリケーションをスケーリングしようとすると空のノードがあるにもかかわらず、Marathon がより多くのコンテナーをスケジュールしない理由がわかりません。

Marathon がマスター ノードで実行されることはわかっています。スレーブエージェントの存在を認識していませんか? (3 つの空きノードがスレーブであると仮定します。)

アプリケーションの構成ファイルは次のとおりです: pastebin-config-file

マラソンを使ってマシンを使いこなすにはどうすればよいですか？

ラボ環境で dcos 環境のインストールを完了したところです。dcos クライアントを centos7 Linux マシンにインストールしようとすると、

Google を調べたところ、同様のケースで「pip install futures」の実行が修正されていることがわかりましたが、これをインストールした後でも、インストールは失敗し続けます

[root@rmavmdock5 bin]# pip インストール機能

[root@rmavmdock5 bin]# pip install --upgrade features

ピップバージョン

インストール スクリプトを 1 行ずつチェックすると、インストール スクリプトを実行しようとすると、dcos クライアント インストール プロセスがこれらのエラーを報告することがわかりました。

しかし、dcosバイナリがコマンドで構成されるまで、プロセス全体が正常に機能しています

、このコマンドは dcos コマンドを使用可能にするコマンドであり、何らかの理由で正しく機能していないようです

-v オプションを指定して同じコマンドを実行しましたが (出力が膨大で、ファイルの添付方法がわかりません)、コマンドが終了します。

コンテナー オーケストレーションに docker、サービス ディスカバリーに consul、およびコンテナー スケジューリングに mesos を使用するマイクロサービス スタックでは、負荷分散のために HAProxy を使用してユーザーが直面する (GUI を使用する) 必要がある 2 つのサービスがあります。

問題は、どのレベルで負荷分散を行うべきかということです。各ユースケースをサポートする LB の実装がいくつかあります。dockercloud-haproxy、consul を含む fabio、および DC/OS が配置されている場合は marathon-lb。

選考基準は？

DCOS/Mesos クラスターにいくつかの環境変数を設定しようとしています - 最も簡単な方法は何ですか?

mesos/dcos クラスターに spark をセットアップしました。

http://my_mesos_cluster/service/spark/で実行中の Spark ストリーミング ジョブを確認できますが、Web UI を取得する方法が見つかりませんでした。これは、Spark をローカルで実行したときに取得したものです (localhost:4040)
必要があります。バッチで処理されたイベントの数などに関する情報を表示します。

mesos/dcos クラスターの "spark web ui" URL は何ですか? または、Web UI を有効にするにはどうすればよいですか?

よろしく、 マーカス