Mesos 0.21.0 で Hadoop 2.3.0 を使用して Spark をセットアップしています。マスターで Spark を試すと、mesos スレーブの stderr から次のエラー メッセージが表示されます。
警告: InitGoogleLogging() が STDERR に書き込まれる前のロギング
I1229 12:34:45.923665 8571 fetcher.cpp:76] URI 'hdfs://10.170.207.41/spark/spark-1.2.0.tar.gz' を取得しています
I1229 12:34:45.925240 8571 fetcher.cpp:105] 「hdfs://10.170.207.41/spark/spark-1.2.0.tar.gz」から「/tmp/mesos/slaves/20141226-161203-」へのリソースのダウンロード701475338-5050-6942-S0/frameworks/20141229-111020-701475338-5050-985-0001/executors/20141226-161203-701475338-5050-6942-S0/runs/8ef30e72-d8cf-4218-8a62-bccdf673b5aa/spark- 1.2.0.tar.gz'
E1229 12:34:45.927089 8571 fetcher.cpp:109] HDFS copyToLocal が失敗しました: hadoop fs -copyToLocal 'hdfs://10.170.207.41/spark/spark-1.2.0.tar.gz' '/tmp/mesos/slaves/ 20141226-161203-701475338-5050-6942-S0/frameworks/20141229-111020-701475338-5050-985-0001/executors/20141226-161203-701475338-5050-6942-S0/runs/8ef30e72-d8cf-4218-8a62- bccdf673b5aa/spark-1.2.0.tar.gz'
sh: 1: hadoop: 見つかりません
フェッチに失敗しました: hdfs://10.170.207.41/spark/spark-1.2.0.tar.gz
スレーブとの同期に失敗しました (おそらく終了しています)
興味深いのは、スレーブ ノードに切り替えて同じコマンドを実行すると、
hadoop fs -copyToLocal 'hdfs://10.170.207.41/spark/spark-1.2.0.tar.gz' '/tmp/mesos/slaves/20141226-161203-701475338-5050-6942-S0/frameworks/20141229-111020 -701475338-5050-985-0001/executors/20141226-161203-701475338-5050-6942-S0/runs/8ef30e72-d8cf-4218-8a62-bccdf673b5aa/spark-1.2.0.tar.gz'
、 うまくいく。