問題タブ [dcos]

コマンドを使用して Spark をインストールした AWS で Mesos DCOS クラスターを実行していますdcos package install spark。DCOS CLI を使用して Spark ジョブを正常に実行できます。dcos spark run ...

Mesos クラスター内で実行されている Docker コンテナーから Spark ジョブを実行したいと考えていますが、実行中の Spark インスタンスに到達する方法がよくわかりません。DCOS CLI を使用してクラスタの外部から同じジョブを実行するのではなく、Dockerコンテナにspark-submitコマンドを実行させて、Spark デプロイメントにジョブを送信させるという考えです。

現在のドキュメントは、DCOS CLI を介して Spark を実行することにのみ焦点を当てているようです。クラスター内で実行されている別のアプリケーションから Spark デプロイメントに到達する方法はありますか?

1 つのエージェントと 3 つのマスターで DCOS をインストールし、ArangoDB をインストールしようとしましたが、arangodb のデプロイに失敗しています。

以下は、ログごとに表示される構成です。

ArangoDB イメージ: arangodb/arangodb-mesos:3.0

モード: クラスタ

非同期レプリケーション フラグ: 0

SecondariesWithDBservers: 0

CoordinatorsWithDBservers: 0

セカンダリ同じサーバー: 0

ArangoDBForcePullImage: 1

ArangoDBPrivilegedImage: 0

最小リソース エージェント: mem( ):2048;cpus( ):0.25;disk(*):2048

最小限のリソース DBserver: mem( ):4096;cpus( ):1;disk(*):4096

最小限のリソース セカンダリ DB サーバー: mem( ):4096;cpus( ):1;disk(*):4096

最小リソース コーディネーター: mem( ):4096;cpus( ):1;disk(*):1024

代理店のエージェントの数: 3

DB サーバーの数: 2

コーディネーターの数: 2

飼育係: zk://master.mesos:2181/arangodb3

以下は、ログ ファイルに表示されるエラーです。

0901 07:07:34.769537 23 CaretakerCluster.cpp:422] 計画されたエージェント インスタンス: 3、実行中のエージェント インスタンス: 1

I0901 07:07:34.769601 23 Caretaker.cpp:400] オファーの辞退 e2301ebe-fff0-46a5-b71b-ef77b9a7a764-O11

I0901 07:07:37.474743 24 HttpServer.cpp:439] http 要求 'GET /v1/health.json' の処理

I0901 07:07:40.802276 23 CaretakerCluster.cpp:416] そしてここでオファー:

{"id":{"値":"e2301ebe-fff0-46a5-b71b-ef77b9a7a764-O12"},"framework_id":{"値":"37ac79b8-bc37-4493-9558-aa72638290db-0002"}," slave_id":{"値":"37ac79b8-bc37-4493-9558-aa72638290db-S0"},"ホスト名":"192.168.12.167","url":{"スキーム":"http","アドレス": {"ホスト名":"192.168.12.167","ip":"192.168.12.167","ポート":5051},"パス":"/slave(1)","クエリ":[]},"リソース":[{"name":"ports","type":1,"ranges":{"range":[{"begin":1026,"end":2180},{"begin":2182,"終了":3887},{"開始":3889,"終了":5049},{"開始":5052,"終了":8079},{"開始":8082,"終了":8180},{"開始":8182,"終了":17140},{"開始":17144,"終了":32000} ]},"役割":" "},{"名前":"ディスク","タイプ":0,"スカラー":{"値":1.17866e+06},"役割":" "},{ "name":"cpus","type":0,"scalar":{"value":7.5},"role":" "},{"name":"mem","type":0,"スカラー":{"値":12298},"役割":"disk","type":0,"scalar":{"value":1.17866e+06},"role":" "},{"name":"cpus","type":0,"scalar" :{"value":7.5},"role":" "},{"name":"mem","type":0,"scalar":{"value":12298},"role":"disk","type":0,"scalar":{"value":1.17866e+06},"role":" "},{"name":"cpus","type":0,"scalar" :{"value":7.5},"role":" "},{"name":"mem","type":0,"scalar":{"value":12298},"role":""}],"attributes":[],"executor_ids":[]}

I0901 07:07:40.802320 23 CaretakerCluster.cpp:422] 計画されたエージェント インスタンス: 3、実行中のエージェント インスタンス: 1

I0901 07:07:40.802383 23 Caretaker.cpp:400] オファーの辞退 e2301ebe-fff0-46a5-b71b-ef77b9a7a764-O12

エージェント サーバーも 1 台で十分だと思います。エージェントの数も 3 サーバーにする必要があるということですか。

また、必要に応じてクラスター全体と単一のサービスを再起動する方法を知る必要がありますか? (プロセスを強制終了するのは正しい方法ではないようです)

誰かがここで正確に何をする必要があるかを提案できますか...

前もって感謝します！

ここに示すように、CloudFormation テンプレートを使用して DC/OS をデプロイする Ansible プレイブックを作成しました:
https://docs.mesosphere.com/1.8/administration/installing/cloud/aws/
そしてそれは正常に動作します!

今、DC/OS に Ansible を接続してデプロイしようとしていますが、もちろん最初にログインする必要があります。
最初のアカウントを作成する方法は、ブラウザで DC/OS ページにアクセスすることです。

しかし、Ansible 用にこの最初のアカウントをプログラムで作成したいのですが、どうすればよいですか?

乾杯

私の知る限り、DC/OS には 2 種類のトークンがあります。

• authentication token : https://public-master-ip/login?redirect_uri=urn:ietf:wg:oauth:2.0:oobを介したログインによって取得されます 。このトークンは、API トークンを取得するために使用されます。

• api token : https://public-master-ip/acs/api/v1/auth/loginへの post 呼び出しを介して、要求本文に認証トークンを使用して取得します。このトークンは、API に対する呼び出しを承認するために使用されます。このようなトークンは 5 日後に期限切れになります。

私の質問は

1. 私の仮定は正しいですか？
2. 認証トークンの有効期限はありますか? もしそうなら、いつ、それをリフレッシュする方法はありますか?

Vagrant 1.8.4 と VirtualBox で DCOS を実行しようとしています。DCOS が起動し、ダッシュボードにアクセスできますが、"Universe" リポジトリが表示されません。DC/OS Vagrant が実行されているコンピューターはプロキシの背後にあるため、こちらの指示に従いましたが、次のエラーが引き続き表示されます。

マスター ノードは外の世界に到達できます。特に、マスター ノードに ssh で (vagrant) 接続し、プロキシの外部のマシンに正常に ping を実行できます。

最後に、別の方法として、ローカル リポジトリをダウンロードしてセットアップしようとしましたが、既知の問題が発生しました。

2つのレポがある場合にユニバースを見つけるのが難しいことについて、同様の質問がありました（スタックオーバーフローの初心者として、リンクの予算を使い果たしました）が、それは私が直面している問題には当てはまらないようです.

アドバイスをいただければ幸いです。お時間をいただきありがとうございます。

補遺として、最近のテストから得た情報をさらにいくつか示します。私のホスト ラップトップ (A Mac) では、google.com と mesosphere.com の両方に ping を実行できます。ただし、マスター ノードに ssh を vagrant すると、google.com に ping を実行できますが、mesosphere.com に ping を実行しようとすると、次のエラーが表示されます。

単純に、Universe リポジトリは Universe.mesosphere.com にあるため、mesosphere.com を解決する必要があると思います。