問題タブ [mesos]

私は Mesos クラスターをセットアップしています -- マスターがスレーブを認識できることを確認しました -- しかし、Hadoop ジョブを実行しようとすると、すべてのタスクが LOST のステータスで終わります。すべてのスレーブ stderr ログに同じエラーが存在します。

それが stderr ログの唯一の行です。

http://mesosphere.io/learn/run-hadoop-on-mesos/の指示に従って、各スレーブがアクセスできる修正された Hadoop ディストリビューションを HDFS に配置しました。Hadoop ディストリビューションのlibディレクトリに、 と を追加hadoop-mesos-0.0.4.jarしましmesos-0.14.2.jarた。

各スレーブが実際にこの Hadoop ディストリビューションをダウンロードし、そこにhadoop-mesos-0.0.4.jarclass が含まれていることを確認しorg.apache.hadoop.mapred.MesosExecutorたので、クラスが見つからない理由がわかりません。

CDH4.4.0 と mesos-0.15.0-rc4 の Hadoop を使用しています。

何が問題なのかについて何か提案はありますか? 私は常にCLASSPATH問題から始めることを知っていますが、この場合、mesos-slave は Hadoop TaskTracker をダウンロード、アンパック、および実行しようとしているためCLASSPATH、mesos-slave によってセットアップされると想像できます。

スレーブ ログの stdout に、環境が出力されます。MESOS_HADOOP_HOME空の があります。これは何かに設定する必要がありますか？ダウンロードした Hadoop ディストリビューションに設定することになっている場合、Hadoop ディストリビューションは毎回新しい場所にダウンロードされるため、事前に設定することはできません。

関連するイベント (おそらくいくつかの権限の問題) で、マスター UI を介してスレーブ ログを参照しようとすると、エラーが発生しますError browsing path: ...。mesos-slave を実行しているユーザーは、手動で正しいディレクトリを参照できます。

mesos GUI でスレーブを選択すると、Apache mesos はスレーブの使用状況を検出できません。また、Web コンソールに「リソースのロードに失敗しました」と表示されます。

mesos フレームワークを作成しており、カスタム executor を使用してタスクを実行したいと考えています。私は他のいくつかの mesos フレームワーク コードベース (クロノスとマラソン) を調べ、デフォルトのコマンド エグゼキューターを使用してシェル コマンドを実行するスケジューラーを作成しました。ここで、デフォルトのエグゼキューターをカスタムのものに置き換えたいと思います。問題は、エグゼキューターをスレーブに登録する方法がわからないことです。フレームワークの構築に関するドキュメントには、実行可能ファイルである必要があり、executorInfo を使用してパスを指定できると記載されていますが、その方法が正確にはわかりません。また、すべてのエグゼキュータが実装しなければならない Executor インターフェースを持ち、同時にその上に実行可能ファイルを必要とすることのポイントは何ですか? 実行可能ファイルへの引数は何ですか?

Mac で Spark プログラムのテストを行いたいと考えています。Spark が実行中で、私の spark scala プログラムがコンパイルされます: しかし、実行時にライブラリ ( mesos .so ?) エラーがあります:

spark クライアント プログラムを実行するために、mesos の spark サーバー自体以外に os/x で必要なセットアップは何ですか?

私はgitから複製しました：

そしてまたやった

次に、「はじめに」に従ってください

http://mesos.apache.org/gettingstarted/

具体的には：

だから私は走った

これは、結果のトリミングされた出力です。エラー自体は表示されませんでしたが、多くの警告が表示されました。最終結果は 1 で終了し、configure スクリプトは生成されませんでした:

私は何人かの同僚と Linux ボックスを共有しており、全員が mesos エコスフィアで開発を行っています。私が一般的にハッキングしているフレームワークをテストする最も便利な方法は、実行することですmesos-local.sh(マスターとスレーブの両方を 1 つに組み合わせます)。

私の同僚が同じことをしない限り、それはうまくいきます。それらの1つがそのショートカットを使用するとすぐに、マスター固有の一時ファイルが保存され/tmp/mesos、mesosのそのインスタンスを実行したユーザーがそれらのファイルとフォルダーの所有権を持つため、他の人はそれを行うことができなくなります. したがって、別のユーザーが同じことをしようとすると、フレームワークからタスクを実行しようとすると、次のようなことが起こります。

F0207 05:06:02.574882 20038 paths.hpp:344] CHECK_SOME(mkdir): エグゼキュータ ディレクトリの作成に失敗しました '/tmp/mesos/0/slaves/201402051726-3823062160-5050-31807-0/frameworks/201402070505-156 -20015-0000/executors/default/runs/d46e7a7d-29a2-4f66-83c9-b5863e018fee'許可が拒否されました

残念ながら、mesos-local.shはそのパスをオーバーライドするためのフラグを提供していませんが、mesos-master.shviaは提供しています--work_dir=VALUE。

したがって、明らかな回避策は、使用するのではなくmesos-local.sh、マスターとスレーブを別々のインスタンスとして使用することです。あまり便利ではありませんが...

マラソンを使用してメソでタスクを正常に作成して実行しました。ただし、マラソンを使用して開始すると、http コールバックがサポートされるはずです。

ただし、これは実際にサービスにコールバックを送信していないようです。コールバックを使用するために使用することになっているものは他にありますか?