問題タブ [mesos]

入門ページにはあまり説明がありませんが、「ubuntu の場合と同じようにインストールしてください。ここにその手順があります」と書かれています。他の質問でも、OS X 用のこのパッケージを見つける問題は取り上げられませんでしたが、後で同様の問題に遭遇する可能性があります。

私は実際に問題を抱えているわけではありませんが、brew を使用していて、同等の libsvn-dev パッケージをインストールできません。

実行してSubversionをインストールしましbrew install subversion --universalたが、brewパッケージを検索しlibsvnても名前に何も含まれていませんでした。インストールするために戦う必要がある他のパッケージもあると確信しています。

これは私の ../configure メッセージです:

Spark シェルからサンプル (SparkPi) を実行する方法はありますか? または、シェルを介して Spark ジョブを Mesos クラスターに送信しますか? はspark-submit現在 Mesos への展開をサポートしていませんが、ドライバーをエグゼキューターにも配置するために、そのようなことを実現したいと考えています。

私は最近 Apache Mesos に出会い、Mesos を介して Storm トポロジーを正常にデプロイしました。

Apache Marathon で Storm トポロジ/Hadoop ジョブを実行してみます (mesos-storm フレームワークを使用して Apache Mesos で直接 Storm を実行する際に問題がありました)。

Apache Marathon から Hadoop/Spark タスクを起動する手順をリストできるチュートリアル/記事が見つかりませんでした。

誰かがこのトピックに関するヘルプや情報を提供してくれると助かります (おそらく、Storm/Hadoop ジョブを起動するための Marathon の Json ジョブ定義)。

どうもありがとう

私は Mesos + Marathon を試しており、5 秒ごとにメッセージを無限に記録するシェル スクリプトで構成される小さな「アプリ」を作成することから簡単に始めています。そのアプリをプロビジョニングすると、さまざまなメモリと CPU リソースを割り当てることができるため、次の質問につながります。

Marathon がシェル スクリプトを直接生成している場合、そのスクリプトのリソース使用をどのように制限できますか? そのスクリプトは、利用可能なすべてのリソースを消費するために何でも実行および起動できます。

Docker またはその他の分離メカニズムがプロセスの実行を制限することは理解していますが、これを (明示的に) 構成していません。明示的に構成しなくても、その場である種のコンテナーを作成していますか? OS Xでテストしています。

Mesos 0.21.0 で Hadoop 2.3.0 を使用して Spark をセットアップしています。マスターで Spark を試すと、mesos スレーブの stderr から次のエラー メッセージが表示されます。

警告: InitGoogleLogging() が STDERR に書き込まれる前のロギング

I1229 12:34:45.923665 8571 fetcher.cpp:76] URI 'hdfs://10.170.207.41/spark/spark-1.2.0.tar.gz' を取得しています

I1229 12:34:45.925240 8571 fetcher.cpp:105] 「hdfs://10.170.207.41/spark/spark-1.2.0.tar.gz」から「/tmp/mesos/slaves/20141226-161203-」へのリソースのダウンロード701475338-5050-6942-S0/frameworks/20141229-111020-701475338-5050-985-0001/executors/20141226-161203-701475338-5050-6942-S0/runs/8ef30e72-d8cf-4218-8a62-bccdf673b5aa/spark- 1.2.0.tar.gz'

E1229 12:34:45.927089 8571 fetcher.cpp:109] HDFS copyToLocal が失敗しました: hadoop fs -copyToLocal 'hdfs://10.170.207.41/spark/spark-1.2.0.tar.gz' '/tmp/mesos/slaves/ 20141226-161203-701475338-5050-6942-S0/frameworks/20141229-111020-701475338-5050-985-0001/executors/20141226-161203-701475338-5050-6942-S0/runs/8ef30e72-d8cf-4218-8a62- bccdf673b5aa/spark-1.2.0.tar.gz'

sh: 1: hadoop: 見つかりません

フェッチに失敗しました: hdfs://10.170.207.41/spark/spark-1.2.0.tar.gz

スレーブとの同期に失敗しました (おそらく終了しています)

興味深いのは、スレーブ ノードに切り替えて同じコマンドを実行すると、

hadoop fs -copyToLocal 'hdfs://10.170.207.41/spark/spark-1.2.0.tar.gz' '/tmp/mesos/slaves/20141226-161203-701475338-5050-6942-S0/frameworks/20141229-111020 -701475338-5050-985-0001/executors/20141226-161203-701475338-5050-6942-S0/runs/8ef30e72-d8cf-4218-8a62-bccdf673b5aa/spark-1.2.0.tar.gz'

、 うまくいく。

Mesosを試し始めたところです。指示に従ってマスターをインストールしました。今のところ、1 つのマスター (3 つのスレーブ) を使用しています。CentOS 6.5にインストールしています-これは仮想マシンであり、端末のみです。

私が抱えている問題は、デスクトップ ブラウザからその仮想マシンのポート 5050 に移動しても応答がないことです。

ただし、端末ウィンドウから次のようにします。

AngularJS ページが返されます。一部は次のようになります。

デスクトップから VM に ping を実行しても、問題なく動作します。ただし、デスクトップから curl コマンド ('IP ADDRESS':5050 を使用) を使用すると、「ホストに接続できませんでした」というメッセージが表示されます。

これを適切に機能させるために何をしようとしているのかについて提案がある人はいますか?

新情報

VM で netstat を実行しました。それは私に与えます：

何が問題なのかを教えてくれていると思いますが、修正方法がわかりません! また、デスクトップ マシンから nmap を実行し、VM のポート 5000 ～ 5100 をスキャンすると、101 個のポートがすべて閉じられていることがわかります。

私はメソのelasticsearchに取り組んでいます。ubuntu で実行されているローカル マシンに elasticsearch-mesos をセットアップしたいと考えています。mesosのドキュメントに従って行いました。また、こちらの指示に従ってelasticsearchをセットアップします。Elasticsearch を実行すると、エラーが発生します

しばらくグーグルで調べた後、/usr/local/lib へのパスと他のいくつかの Java パスを変更しようとしましたが、その検索でこのような SO 投稿を参照したことがわかりましたが、mesos ディレクトリのどこにも libmesos.so が見つかりませんでしたまたは私のファイルシステムで libmesos.la を見つけました。libmesos.la から libmesos.so をコンパイルできますか?

私はこのチュートリアルに従って、公式チュートリアルから単一ノード中間圏クラスターをセットアップしてみました。

http://mesosphere.com/docs/getting-started/developer/single-node-install/

すべてのコマンドを問題なく実行し、ポート 5050 と 8080 をセキュリティ グループに追加しました。mesos/marathon のコンソールにアクセスしようとすると、「Internet Explorer は Web ページを表示できません」というメッセージが表示されます。

また、次の方法で確認することをお勧めします。

しかし、それはエラーになります：

これをトラブルシューティングする方法もよくわかりません。また、ubuntuにmesosをインストールする方法について見つけることができるチュートリアルはあまりありません。

zkファイルの内容を確認したところ、デフォルト値のようです。

$ cat /etc/mesos/zk zk://localhost:2181/mesos

これについてどうすればよいかについての手がかりをいただければ幸いです。

編集：プロセスも間違いなく実行されています-参考までに：