0

Amazon のプライベート クラウド上のクリーンな Ubuntu 14.04 マシンに Hadoop/Spark/Sparkling Water をセットアップしようとしています。すべてをルートとして実行します。java-6、scala 2.10.5 を apt-get で取得し、hadoop 2.6、spark 1.2.1、スパークリング ウォーター 0.2.1-47 を wget して展開しました。

HADOOP_HOME と SPARK_HOME を正しいディレクトリにエクスポートし、bin/sparkling-shell を実行しました。

import org.apache.spark.h2o._
import org.apache.spark.examples.h2o._
val h2oContext = new H2OContext(sc).start()

その後、大量の開始タスク X / 終了タスク X の出力が続きます。

java.lang.IllegalArgumentException: Cannot execute H2O on all Spark executors:
  numH2OWorkers = -1"
  executorStatus = (0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(0,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(0,false),(2,false),(1,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(2,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(2,false),(1,false),(0,false),(0,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(0,false),(1,false),(2,false),(1,false),(2,false)
at org.apache.spark.h2o.H2OContext.start(H2OContext.scala:112)
(...)

誰かが私が間違っていることや行方不明になっていることを指摘できますか? 必要/役立つ場合は、正確なセットアップ スクリプトを投稿できます。

4

1 に答える 1

0

zipをダウンロードするのではなく、プロジェクトをビルドすることでこれを解決しました。現在私のために機能しているセットアップ (機能する唯一のものであるとは言いません) は、openjdk7、hadoop 2.6、spark 1.2.0 です。HADOOP_HOME と SPARK_HOME はエクスポートされたシェル変数である必要があり、マシンのプライベート IP を /etc/hosts テーブルに追加する必要があります。これは次のように実行できます。

echo $(ifconfig eth0 | grep 'inet addr:' | cut -d: -f2 | cut -d' ' -f1) $(hostname) localhost >> /etc/hosts

次に、sparkling-water プロジェクトを git clone し、プロジェクト ディレクトリに ./gradlew をビルドします。

于 2015-05-19T23:47:04.243 に答える