問題タブ [dcos]

DC/OS で Docker コンテナーを実行する場合、Marathon と Chronos、Docker Swarm、または Kubernetes のいずれを使用するかについて、いくつかの長所と短所を探しています。

たとえば、どのような場合に Marathon/Chronos を使用した方が Kubernetes よりも優れているでしょうか? またその逆の場合は?

現在、私は主に実験に取り組んでいますが、うまくいけば、これらのサービスのいずれかを夏以降に本番環境で使用できるようになることを願っています。それまでに本番環境に対応できるかどうかわからないため、Docker Swarm は失格になる可能性があります。

Docker Swarm について私が気に入っているのは、それが本質的に単なる "Docker コマンド" であり、まったく新しいことを学ぶ必要がないことです。私たちはすでに使用docker-composeしており、Docker Swarm ですぐに使用できるので (少なくとも理論上は)、大きなプラスになるでしょう。Docker Swarm に関する私の主な関心事は、運用環境でシステムを実行するために必要なすべてのユース ケースをカバーできるかどうかです。

デフォルト設定を使用して AWS で DCOS セットアップを作成しました

CLI を使用して 2 つの kafka ブローカーを追加します

ブローカーを開始すると、マスターからのオファーが拒否されたことがわかります

何が起こっているのかを確認するために、スレーブで関連するログを見つけることができません。/var/log/mesos には、関連情報のないファイルがいくつかあります。ドキュメントによると、/var/log/messages に syslog が表示されるはずですが、そのファイルは表示されません。デフォルトの構成では、CoreOS がプロビジョニングされます。私はjournalctlコマンドを試しましたが、そこにも何も見つかりませんでした。これをデバッグする方法がわかりません。

Mesos に Kafka をインストールしようとしています。インストールは成功したようです。

しかし、kafka タスクは開始されません。

Marathon UI は service is waitingと表示します。割り当てられたリソースを受け入れていないようです。その他のログはこちら。

Mesos マスター ログ..

なぜマラソンがその申し出を好まなかったのか分かりません. 十分なリソースがあると確信しています。

DCOS cli を使用して mesos で Spark ストリーミング ジョブを開始しようとしています。私は仕事を始めることができます。私のプログラムは、設定ファイルが cli パラメータとして渡されることを期待しています。dcos spark run --submit-argsでこれを達成するにはどうすればよいですか?

ファイルをダウンロードすることを期待して--files http://server/path/to//fileを試しましたが、うまくいきませんでした。ドライバーは起動しますが、構成ファイルが見つからないため失敗します。

また、jar と構成ファイルを tar としてロールアップして送信しようとしました。Mesos ログで、tar がフェッチされ、untar されたことを確認できます。config ファイルと jar ファイルの両方が作業ディレクトリに表示されます。しかし、ジョブは ClassNotFoundException で失敗します。spark-submit の開始方法に何か問題があったと思われます。

進め方のヒントはありますか？また、DCO で使用される基礎となる spark-submit コマンドは、どのログ ファイルで確認できますか?

Cassandra パッケージをインストールできないようです。marathon get がフェーズ 1/2 のデプロイでスタックし、dcos cassandra サブコマンドが次のスタック トレースを発行します。