問題タブ [mesos]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - 同じマシン上の Spark からのみ Mesos に接続できます
Mesos クラスターで Spark を実行しようとしています。
./bin/spark-shell --master mesos://host:5050Mesos マスターを実行しているマシンから実行すると、すべてが機能します。ただし、別のマシンから同じコマンドを実行すると、接続しようとした後にプロセスがハングアップします。
mesos マスターでは、次の出力が表示されます。
スレーブ出力として
誰か似たようなものを見たことがありますか？
maven - Apache Mesos のビルド中にエラーが発生しました
Ubuntu 14.04 LTS で Apache Mesos をビルドしようとしています。次のコマンドを実行しました。
make を実行すると、次のエラーが表示されます。
また、ターゲットなしでコマンド mvn -e を実行しようとしたところ、次のエラー メッセージが表示されました。
誰かがここで問題を指摘できますか?
mesos - Mesos でフレームワークを強制終了する
Mesos クラスターがあり、それに接続された Spark シェルを実行していました。クライアントをシャットダウンしましたが、Mesos はまだフレームワークがアクティブであるべきだと考えています。
curl で DELETE を使用して Mesos にフレームワークをドロップさせようとしています ( https://issues.apache.org/jira/browse/MESOS-1390 )
しかし、サーバーから応答がありません。また、マスターに正確に接続する方法がわかりません。ZooKeeper によって管理されているマルチマスター設定があり、アクティブなマスターだけに接続しようとしていました。
上記が正しいリクエストであるかどうか、誰でも確認できますか? mesos-0.20.0 を使用しています。
ありがとう
hadoop - Mesos で Impala を実行する
Mesos で Impala を実行することは可能ですか?
誰もこれを試したことがありますか？
YARN で Impala を実行するためのLlamaがあることは知っています。Mesosに似たものはありますか？
apache-spark - Monit 経由で Mesos を実行する
monit を使用してスレーブを実行し続けるために Mesos (zookeeper なし) を実行しようとしています。
次のスクリプトを使用して、mesos スレーブを開始および停止します。
start-slave.sh :
stop-slave.sh :
ssh 経由でスクリプトを開始すると、うまく機能します。ただし、スレーブレジスタに従ってmonitを介して使用すると（オンラインインターフェイスで確認できます）、sparkを使用して計算を実行しようとすると、ほとんどのタスクが失われるという意味で失敗します。
モニター設定：
実行ログ:
私はMonit正しく使用していますか？
cluster-computing - 中間圏とコアオスの主な違い
まず、この2つの製品を比較するのは正しいですか? はいの場合、それらの主な違いは何ですか?
hadoop - Mesos & Hadoop: 実行中のジョブの入力データ サイズを取得するには?
Mesos 0.14 の上で Hadoop 1.2.1 を実行しています。私の目標は、後で最適化するために、入力データのサイズ、実行時間、CPU 使用量、メモリ使用量などをログに記録することです。これらはすべて、データ サイズを除き、Sigar を使用して取得されます。
実行中のジョブの入力データ サイズを取得する方法はありますか?
たとえば、hadoop example のterasortを実行している場合、実際にジョブを実行する前に、teragen の生成されたデータ サイズを取得する必要があります。Wordcount exampleを実行している場合、wordcount 入力ファイル サイズを取得する必要があります。このフレームワーク内でどのジョブが実行されるかを後で知ることができないため、データ サイズを自動的に取得する必要があります。
Java を使用して mesos ライブラリ コードの一部を記述しています。できれば MesosExecutor クラス内のデータサイズを取得したいです。何らかの理由で、Hadoop/Mesos のアップグレードはオプションではありません。
提案や関連する API をいただければ幸いです。ありがとうございました。
scheduler - Mesos スレーブ統計
Mesos では、スレーブは CPU とメモリの情報のみをマスターに報告しますか? 他のカスタム情報を伝達できますか。たとえば、外部プロセスに対してどれだけビジーかを伝えることができるアプリケーションがあります。その情報を Mesos スレーブに報告できますか? Mesos スレーブはマスターに報告し、リソースの提供に使用されますか?
docker - Marathon json を使用して新しい実装を作成する
私たちは、docker クラスターにデプロイするためのマラソンを調査してきました。アプリケーション アーキテクチャには、アプリケーション サーバーがアクセスする必要がある postgresql データベースがあります。
開発段階では、fig を使用して Docker 間のリンクを作成し、Docker によって課された環境変数を使用して宛先 (アプリケーション サーバーから postgresql) に接続しました。
それでも、Marathon では同様のアプローチを見つけることができませんでした。依存関係を使用しようとしましたが、うまくいきませんでした。以下は Marathon.json ファイルです。
誰かアドバイスしてもらえますか？