問題タブ [mesos]

私は現在 Mesos について学んでおり、Cascading で定義されたジョブを Mesos プールで実行できるかどうか疑問に思っていました。Mesos は Hadoop をサポートしており、Cascading フローは Hadoop jar ファイルにコンパイルされるため、実行可能であると思います。しかし、特定の設定を尊重する必要がありますか?

Apache Mesos の「マスター」ノードを Mesos の「スレーブ」ノードと同じマシンに配置できますか? 同様に (高可用性 (HA) デプロイの場合)、Mesos の「マスター」選出で使用される Apache Zookeeper ノードを Mesos の「スレーブ」ノードと同じマシンにデプロイできますか?

Mesos は HA 展開に 3 つの「マスター」を使用することを推奨し、Zookeeper は定足数選択システムに 5 つのノードを使用することを推奨しています。これらのサービスを Mesos の「スレーブ」プロセスと並行して実行することは、8 台のマシンを実質的に「非生産的な」タスクに割り当てるのではなく、望ましいことです。

そのような設定が可能である場合、そのような設定の長所/短所は何ですか?

ありがとう！

Mesos API とのネイティブ統合が Kafka 0.9 リリースで計画されていることは知っています。一方、Marathon を使用して Kafka ブローカーを実行およびスケーリングすることは素晴らしいことです。すでにそれを行った経験がある人はいますか？

私のスケジューラーは、エグゼキューターから端末ステータスの更新を重複して取得します。これは主に、スケジューラが多くのエグゼキュータから多くのステータス更新を取得しているときに発生することに気付きました。何が原因なのか調べてみましたが、何も見つかりませんでした。mesos マスターはスレーブに ack を送信することになっていますか?

より具体的には、スケジューラーの statusUpdate メソッドが、エグゼキューターからまったく同じステータス更新に対して複数回呼び出されます。

現在、Marathon と Chronos で Apache Mesos を使用して、長期実行プロセスとバッチ プロセスをスケジュールしています。

Oozie のように、より複雑なワークフローを作成できれば素晴らしいと思います。たとえば、ある場所にファイルが表示されたときや、特定のアプリケーションが完了または API を呼び出したときにジョブを開始するとします。

Marathon/Chronos または Singularity でこれを行うことができるようですが、すぐに利用できるインターフェイスはないようです。

Mesosphere で Mongodb のようなデータベースを実行し、スケールアップするときに、Mongodb インスタンスとシャーディングを追加するのではなく、シャーディングなしで Mesos クラスターにノードを追加することは可能ですか?

WordCountHadoop 2.5.2 を使用して Mesos で簡単な例を実行しようとしています。HDFS のセットアップに成功しました (実際には、この背後に YARN がセットアップされており、正常に動作しています)。Mesos マスターが実行中で、4 つのスレーブが接続されています。Mesos の Hadoop ライブラリは 0.0.8 です。

Hadoop 2.5.2 の構成は ( mapred-site.xml) です。

すべてのスレーブから次のログを取得しました (例):

dbpc42: I1202 00:03:12.066195 11232 launcher.cpp:137] コンテナ 'c10c2d2b-bf4b-469b-97a2-60c9720773b4' の pid '18714' を持つフォークされた子

dbpc42: I1202 00:03:12.068272 11232 containerizer.cpp:571] コマンド '/opt/mesos-0.21.0/build/src/mesos-fetcher' を使用して、コンテナー 'c10c2d2b-bf4b-469b-97a2-60c9720773b4' の URI を取得しています

dbpc42: I1202 00:03:12.140894 11226 containerizer.cpp:946] コンテナー 'c10c2d2b-bf4b-469b-97a2-60c9720773b4' を破棄しています

DBPC42：E1202 00：03：12.141315 11229 SLAVE.CPP：2787]コンテナ 'C10C2D2B-BF4B-469B-97A2-60C972073B4 : コンテナー 'c10c2d2b-bf4b-469b-97a2-60c9720773b4' の URI を取得できませんでした: 終了ステータス 256

DBPC42：I1202 00：03：12.242033 11231 containizer.cpp：1117] container 'c10c2d2b-bf4b-469b-97a2-60c972073b4' exited dbpc42：exited dbpc42フレームワーク 20141201-225046-698725789-5050-19765-0003 がステータス 1 で終了しました

hadoop jarコマンド the job stacks at map 0% reduce 0%を使用して、ジョブ トラッカーは正常に動作しています。mesos クラスター情報ではTASKS_LOST、ジョブを強制終了するまでカウンターがいっぱいになります。Mesos と JobTracker は root として実行され、ジョブは user として実行されますhdfs。

この URI の問題とは何ですか?

あなたの親切な助けやヒントをありがとう！

(必要に応じて、さらに情報を提供します。)

アップデート

マスターが実行されているのと同じ PC でスレーブを開始すると、タスクがステージング状態になります。5、毎回。

はmapred-mesos.executor.uri、IP からdbpc41(マスター PC) に変更されました。

他の 4 つのスレーブは、(おそらく) executor URI をフェッチできないため、まだタスクを失っています。

これらは、マスターと同じ PC で実行されている 5 番目のスレーブからのログです。

I1202 16:17:57.434345 1405 containerizer.cpp:571] コマンド '/opt/mesos-0.21.0/build/src/mesos-fetcher' I1202 16 を使用して、コンテナー '5f33123b-00eb-4e05-9dcc-30f16f5eee44' の URI を取得しています:18:08.620708 1412 slave.cpp:2840] Monitoring executor 'executor_Task_Tracker_445' of framework '20141201-225046-698725789-5050-19765-0012' in container '5f33123b-00eb-4e05-9dcc-30f16f5eee44' I1202 16:18:09.022902 1407 containerizer.cpp:1117] コンテナー '5f33123b-00eb-4e05-9dcc-30f16f5eee44' の実行プログラムが I1202 16:18:09.022964 を終了しました16:18:11.369912 1407 containerizer.cpp:888] コンテナ 5f33123b-00eb-4e05-9dcc-30f16f5eee44 のリソース統計をスキップしています: 使用状況の取得に失敗しました:11093 W1202 16:18:11.369971 1407 containerizer.cpp:888 でプロセスが見つかりません] コンテナー 5f33123b-00eb-4e05-9dcc-30f16f5eee44 のリソース統計をスキップしています。 1412 slave.cpp:2898] フレームワーク 20141201-225046-698725789-5050-19765-0012 のエグゼキュータ 'executor_Task_Tracker_445' がステータス 1 I1202 16:18:11.401949 で終了しました@0.0.0.0:0 W1202 16:18:11.402245 1409 updateizer.cpp:85 の不明なコンテナーを無視する] 5f33123b-00eb-4e05-9dcc-30f16f5eee44 I1202 16:18:11.403017 1410 status_update_manager.cpp:317] ステータス更新 TASK_LOST を受信しました (UUID:959709C2-5546-41FD-9AF3-09F024BB6354）TASK_TRACKER_445 FREAMWORK 201412012012012012012012012046-698725789-5050-19765-0012 I1202 16：11.403437 1406 SLEAVETING PRUDDEST PRUDED FORDING PRUDDER 41FD-9AF3-09F024BB6354）TASK_TASK_TRACKER_445 FREAMWORK 20141201201-225046-698725789257892578925789257892578925789257892578725789898725789-5050-19765-0012 959709C2-5546-41FD-9AF3-09F024BB6354）TASK_TRACKER_445 FREAMWORK 2014120120120120120120120120120120120120120-19765-0012I1202 16：11.44933333333334408の営業担当exed-exectid exectid exectid exedfarced exectid exectid exectid exectid exectid exedfary frame -698725789-5050-19765-0012 I1202 16:18:11.449707 1405 gc.cpp:56] スケジューリング '/TMP/MESOS/SLAVES/20141201-225046-698725789-5050-19765-S4/FREAMWORKS/20141201225046-698725789-5050-19765-0012/execurtors/runs/luns/5f5peed/5F54peedpeed/ gc 6.99999479755852days in the future I1202 16:18:11.450034 1409 gc.cpp:56] Scheduling '/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S4/frameworks/20141201-225046-698725789-5050- 19765-0012/executors/executor_Task_Tracker_445' for gc 6.9999947929037days in the future I1202 16:18:11.450147 1408 slave.cpp:3084] Cleaning up framework 20141201-225046-698725789-5050-19765-0012 I1202 16:18:11.450213 1406 status_update_manager .cpp:279] フレームワーク 20141201-225046-698725789-5050-19765-0012 I1202 16:18:11.450381 1412 gc.cpp:56] のステータス更新ストリームを閉じています '/TMP/MESOS/SLAVES/20141201225046-698725789-5050-19765-S4/FREAMWORKS/20141201225046-698725789-5050-19765-0012 'GC 6.999999999999478120244444444402.188124402。 :1083] フレームワーク 20141201-225046-698725789-5050-19765-0012 I1202 16:18:12.442337 1405 gc.cpp:84] の割り当てられたタスク Task_Tracker_472 を取得しました '/tmp/mesos/slaves/20141201-6595 19765-S4/Frameworks/20141201225046-698725789-5050-19765-0012 'from GC I1202 16：18：12.442617 1405 Slave.cpp：1193] 16:18:12.444263 1405 slave.cpp:3997] フレームワーク 20141201-225046-698725789-5050-19765-0012 のエグゼキュータ executor_Task_Tracker_472 を作業ディレクトリに起動しています '/TMP/MESOS/SLAVES/20141201225046-698725789-5050-19765-S4/FREAMWORKS/20141201225046-698725789-5050-19765-0012/executors/runs/runs/23104444444444444444444444444444444444444444444444444444455512 16:18:12.444756 1405 slave.cpp:1316] Queuing task 'Task_Tracker_472' for executor executor_Task_Tracker_472 of framework '20141201-225046-698725789-5050-19765-0012 I1202 16:18:12.444793 1406 containerizer.cpp:424] Starting container ' 2310C642-02BF-401B-954C-876C88675C31「エグゼクティブのためのexecutor_task_tracker_472 'of Framework' 20141201-225046-698725789-5050-19765-0012 'コンテナー '2310c642-02bf-401b-954c-876c88675c31' I1202 16:18:12.448652 1406 containerizer.cpp:571] コンテナーの URI を取得しています '2310c642-02bf-401b-954c-876c88675c31' コマンド '/opt/mesos-0.21.0/build/src/mesos-fetcher' を使用

stderrmap-reduce ジョブの実行中に、次のログが記録されます。

の内容stderr:

警告: InitGoogleLogging() が STDERR に書き込まれる前のログ I1202 19:41:40.323521 7223 fetcher.cpp:76] URI 'hdfs://dbpc41:9000/hadoop-2.5.0-cdh5.2.0.tgz' をフェッチしています I1202 19: 41:40.323685 7223 fetcher.cpp:105] リソースを「hdfs://dbpc41:9000/hadoop-2.5.0-cdh5.2.0.tgz」から「/tmp/mesos/slaves/20141201-225046-698725789-5050」にダウンロードしています-19765-S24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor_Task_Tracker_0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd/hadoop-2.5.0-cdh5.g.2.

I1202 19:41:48.779220 7223 fetcher.cpp:64] 抽出されたリソース '/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S24/frameworks/20141201-225046-698725789-cut0/exers1/56050 /executor_Task_Tracker_0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd/hadoop-2.5.0-cdh5.2.0.tgz」を「/tmp/mesos/slaves/20141201-225046-69872frame789-5050-19765-s/s24/s24」に20141201-225046-698725789-5050-19765-0016/executors/executor_Task_Tracker_0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd'

sh: 1: cd: hadoop-2.5.0-cdh5.2.0 に cd できません

sh: 1: ./bin/hadoop: 見つかりません

はstdout空です。

興味深いのは、マスターが実行されているのと同じノードでスレーブを実行すると、問題が発生せず、タスクが正常に終了することです。リモート スレーブのみがこの問題を引き起こします。何が問題なのですか？