5

Mac で Spark プログラムのテストを行いたいと考えています。Spark が実行中で、私の spark scala プログラムがコンパイルされます: しかし、実行時にライブラリ ( mesos .so ?) エラーがあります:

Exception in thread "main" java.lang.UnsatisfiedLinkError: no mesos in java.library.path
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1758)
    at java.lang.Runtime.loadLibrary0(Runtime.java:823)
    at java.lang.System.loadLibrary(System.java:1045)
    at org.apache.mesos.MesosNativeLibrary.load(MesosNativeLibrary.java:46)
    at spark.SparkContext.<init>(SparkContext.scala:170)
    at com.blazedb.scala.ccp.spark.LoadRDD$.main(LoadRDD.scala:14)

spark クライアント プログラムを実行するために、mesos の spark サーバー自体以外に os/x で必要なセットアップは何ですか?

4

3 に答える 3

9

libmesos.so の場所である「MESOS_NATIVE_LIBRARY」環境変数を設定する必要があります。通常は /usr/local/lib/libmesos.so です。

# For Linux
$ export MESOS_NATIVE_LIBRARY='/usr/local/lib/libmesos.so'

# For OSX
$ export MESOS_NATIVE_LIBRARY='/usr/local/lib/libmesos.dylib'

毎回それを避けるために、その行を .bashrc にも追加することをお勧めします。

于 2014-01-30T06:45:27.687 に答える
5

Mesos で Spark を使用する場合は、OS X で Mesos ライブラリへのパスを見つける方法に関する注意事項を含む、プロジェクトの Web サイトに説明があります。

お気づきのように、Mesos のインストールを必要としないモードを含む、他の展開モードがあります。local

スタックトレースに基づいて、古いバージョンの Spark を使用しているようです。Spark 0.8.0 以降、パッケージは名前空間に移動されたため、アップグレードしたくない場合は、以前のバージョンのドキュメントorg.apache.sparkを使用する必要がある場合があります。

于 2014-01-06T21:04:04.473 に答える