問題タブ [marathon]

現在、Marathon と Chronos で Apache Mesos を使用して、長期実行プロセスとバッチ プロセスをスケジュールしています。

Oozie のように、より複雑なワークフローを作成できれば素晴らしいと思います。たとえば、ある場所にファイルが表示されたときや、特定のアプリケーションが完了または API を呼び出したときにジョブを開始するとします。

Marathon/Chronos または Singularity でこれを行うことができるようですが、すぐに利用できるインターフェイスはないようです。

私は最近 Apache Mesos に出会い、Mesos を介して Storm トポロジーを正常にデプロイしました。

Apache Marathon で Storm トポロジ/Hadoop ジョブを実行してみます (mesos-storm フレームワークを使用して Apache Mesos で直接 Storm を実行する際に問題がありました)。

Apache Marathon から Hadoop/Spark タスクを起動する手順をリストできるチュートリアル/記事が見つかりませんでした。

誰かがこのトピックに関するヘルプや情報を提供してくれると助かります (おそらく、Storm/Hadoop ジョブを起動するための Marathon の Json ジョブ定義)。

どうもありがとう

Jenkins 用のアーティファクト プラグインをいくつか試しましたが、これまでのところ、タスクに失敗しています。

展開用のファイル システムとして Hadoop を使用し、アプリを Hadoop から展開します (mesos/marathon は http または hdfs にのみアクセスできます)。Jenkins にアーティファクト zip を sbt から hdfs に保存させるにはどうすればよいですか? シェルコマンドを実行するオプションがありません

私は Mesos + Marathon を試しており、5 秒ごとにメッセージを無限に記録するシェル スクリプトで構成される小さな「アプリ」を作成することから簡単に始めています。そのアプリをプロビジョニングすると、さまざまなメモリと CPU リソースを割り当てることができるため、次の質問につながります。

Marathon がシェル スクリプトを直接生成している場合、そのスクリプトのリソース使用をどのように制限できますか? そのスクリプトは、利用可能なすべてのリソースを消費するために何でも実行および起動できます。

Docker またはその他の分離メカニズムがプロセスの実行を制限することは理解していますが、これを (明示的に) 構成していません。明示的に構成しなくても、その場である種のコンテナーを作成していますか? OS Xでテストしています。

多数の Web サイトをホストするために、Mesos、Marathon、および Chronos の組み合わせを検討しています。頭の中で、ラップトップにいくつかのコマンドを入力して、ビルドとデプロイが完了するまで約 30 分待つことができるはずです。

私の唯一の問題は、リソースが複数のデータ センター、多数のクラウド アカウント、および約 6 ​​つのオンプレミスの場所に分散していることです。それらすべてをラップトップから制御できない理由がわかりません (ハードウェアに関しては、深刻な電源と制御の問題があります!)

私の最善のアプローチは、頭脳 (動物園の飼育係と少なくとも 1 つのマスター) をクラウドに構築してから、別のデータ センターを追加することだと考えていますが、分散クラスターの例をまだ見ていません。すべてのノードが互いに通信できるわけではありません。

誰でもこれを行う方法を推奨できますか?

Google Cloud Engine の Mesos(0.21) と Marathon(0.7.6) に Docker コンテナーをデプロイします。
JMeter を使用して、Marathon で実行される REST サービスをテストします。同時リクエスト数が 10 未満の場合は正常に動作しますが、同時リクエスト数が 50 を超えるとコンテナが強制終了され、Mesos は別のコンテナを起動します。RAM、CPU を増やしましたが、それでも発生します。
これは /var/log/mesos/ のログインです

E0116 09:33:31.554816 19298 slave.cpp:2344] Failed to update resources for container 10e47946-4c54-4d64-9276-0ce94af31d44 of executor dev_service.2e25332d-964f-11e4-9004-42010af05efe running task dev_service.2e25332d-964f-11e4-9004-42010af05efe on status update for terminal task, destroying container: Failed to determine cgroup for the 'cpu' subsystem: Failed to read /proc/612/cgroup: Failed to open file '/proc/612/cgroup': No such file or directory

すべての Mesos マスター、スレーブ、ZooKeeper、Marathon をセットアップした後。 Mesos-Master で実行され、完了したタスク状態が Fnished になったら
、緑色のボタン [Create App] をクリックしました。 json ファイルはどこで入手できますか? どのフォルダから??

私の mesos-master が原因で、突然接続が失われました。マラソンは、タスクを削除できないという非常に奇妙な状態になります。
マラソンがタスクが失われたことを理解するのを待ちますが、手動で消去する方法がありません。

とにかく、Mararthon UI からタスクを強制終了できますか?

フレームワーク 20150121-162624-453060618-5050-2463-0000 のタスク **** が見つからないため、強制終了できません。非厳密なレジストリが使用されているため、TASK_LOST を送信できません