問題タブ [mesosphere]

私は Service Discovery とクラスター化されたシステムにまったく慣れていません。Docker コンテナーのデプロイメントのために Mesos と Marathon を試し始めました。Marathon REST API と UI はうまく機能しているようです。

私の問題は、デプロイされたサービスの実際の発見です。テストの目的で、MongoDB テストクラスターで行ったように、Marathon を介して 3 つのインスタンスにスケーリングされた Kafka クラスターをデプロイしました。Mesos-DNS クライアントは、ホストからコンテナーに動的にマップされたポートを意味するkafka.marathon.mesosandのようなレコードを提供します。mongo.marathon.mesos問題は、クライアントがターゲット ポートに関する情報を明示的に必要とすることです。これらのポート情報をサービスから自動的かつ動的に取得する一般的な方法はありますか? 複数のポートを公開しているアプリはどうですか?

これまでの私の考え: - REST 呼び出しを実行して、デプロイされたアプリに関するステータスを取得し、何らかの方法で関連データを抽出する - DNS SRV ルックアップを実行し、何らかの方法で関連データを抽出する - ポートに静的にバインドされたある種の「マスター」を持つ、動的な「クライアント」を使用します。

私はそれらの情報をたくさん検索しましたが、最終的にほとんどのチュートリアルは、私が目指しているものではない手動の検索で終わりました.

CIにjenkins mesosプラグインを使用しています。最初に、次のチュートリアルに従いました: http://www.ebaytechblog.com/2014/05/12/delivering-ebays-ci-solution-with-apache-mesos-part-ii/

しかし、ジェンキンス自体はこれを介してセットアップされていませんでした。（config.xmlファイルを読み込めないというエラーが発生しました。1つあったとしても）

その後、 https: //rogerignazio.com/blog/scaling-jenkins-mesos-marathon/ をたどり、jenkins マスター (jenkin フレームワーク/スケジューラー) を実行できましたが、実行するスクリプトを定義すると、jenkins-slaves作成されていません。スレーブに関する設定が欠けていると思います。ジョブを実行するためにスレーブが作成されていない理由を教えてください。

ジェンキンスのビルドページで、私は得ています：

そして、jenkins-logs で、次のエラーが発生しています。

編集: コンテナー ポート マッピングを定義していないため、エラーが発生していると思います。誰でもその方法を教えてもらえますか?

更新 : 実際、0.7 バージョンの mesos プラグインには多くの問題がありました。だから、私は単に0.6バージョンにダウングレードしました。

I have been exploring Mesos, Marathon framework to deploy applications. I have a doubt that how Marathon handle application files when an application is killed .

For example we are using Jenkins which is run through Marathon and if Jenkins server fails and it will be restarted again by Marathon but this time old jobs defined will be lost .

Now my question is how can I ensure that if a application restarts, those old application jobs should be available ?

Thanks.

https://docker.somedomain.com (5000 ではなく標準ポート 443 経由)でアクセスできるプライベート Docker レジストリがあります。私のインフラストラクチャには、docker コンテナー化が有効になっている Mesosphere のセットアップが含まれています。Marathon 経由で特定のコンテナーを Mesos スレーブにデプロイしようとしています。ただし、これは常に Mesos がそのサンドボックスの stderr と stdout にデータがなく、ほぼ即座にタスクを失敗させて失敗します。

標準の Docker レジストリのイメージからデプロイしようとしましたが、うまく動作しているようです。何が悪いのかわからなくて困っています。私のプライベート Docker レジストリはパスワード認証を必要としません (これをデバッグするためにオフにします)。また、Meso のスレーブ インスタンスにシェルでアクセスし、root として sudo su を実行すると、「docker pull docker.somedomain.com/services/myapp」を実行できます。毎回成功。

タスクを開始するためのマラソン投稿データは次のとおりです。

私はこれでほぼ1日立ち往生しており、私が試したすべてが同じ結果をもたらしているようです。これに関する洞察は大歓迎です。

私のバージョン: Mesos: 0.22.1 Marathon: 0.8.2 Docker: 1.6.2

プライベート VPC で、AWS 上の Mesosphere を使用してテスト クラスターをセットアップしました。公開されている Docker イメージがいくつかありますが、これは簡単にデプロイできます。ただし、ほとんどのサービスはプライベート イメージであり、Docker Hub プライベート プランでホストされており、アクセスするには認証が必要です。

Mesosphere はプライベート レジストリ認証に対応していますが、完全に理想的とは言えない方法でこれを実現しています。.dockercfg ファイルへの HTTPS URI をすべての Mesos/Marathon タスク定義で指定する必要があります。

タイトルが示すように、質問は基本的に次のとおりです。.dockercfg ファイルを AWS 内でホストして、アクセスを Mesos マスターとスレーブのみにできるだけ厳密に制限できるようにするにはどうすればよいですか?

約 2700 のエグゼキューターを同時に実行できる 200 ノードのメソ クラスターがあります。私のエグゼキュータの約 10 ～ 20% は、最初は失われています。エグゼキュータの tar ファイルを抽出するまでしか続きません。

私のエグゼキュータ tar ボールはかなり大きく (約 40 MB 程度)、ダウンロードに 30 秒以上かかるエグゼキュータのほとんどが失われます。mesos マスターは、特定の期間が登録されるまですべてのエグゼキュータを待機し、エグゼキュータが登録に失敗した場合に LOST のマークを付けますか?

エグゼキュータの詳細:

python を使用して、スケジューラとエグゼキュータの両方を実装しています。Executor コードは、基本クラス「Executor」を拡張する Python ファイルです。Executor クラスの launchTasks メソッドを実装しました。これは、executor が本来行うべきことを単純に実行します。

エグゼキュータ情報は次のとおりです。

mesos + marathon クラスターを実行していますが、これまでのところすべて正常に動作しています。しかし、マラソンで制約を使用する方法がわかりません。

mesos スレーブに属性のタグを付けました

コンテナのマラソンの説明に追加しました

しかし、コンテナをデプロイすると、「INFO No matching offer for」のみが表示され、何が間違っていたのかわかりません。

不足しているものはありますか？