2

(ここgraphframesから) パッケージをダウンロードし、ローカル ディスクに保存しました。では、使ってみたいと思います。したがって、次のコマンドを使用します。

IPYTHON_OPTS="notebook --no-browser" pyspark --num-executors=4  --name gorelikboris_notebook_1  --py-files ~/temp/graphframes-0.1.0-spark1.5.jar --jars ~/temp/graphframes-0.1.0-spark1.5.jar --packages graphframes:graphframes:0.1.0-spark1.5

graphframes新しいパッケージを除いて、pyspark のすべての機能は期待どおりに動作しimport graphframesますImportError。を調べるsys.pathと、次の 2 つのパスが表示されます。

/tmp/spark-1eXXX/userFiles-9XXX/graphframes_graphframes-0.1.0-spark1.5.jar/tmp/spark-1eXXX/userFiles-9XXX/graphframes-0.1.0-spark1.5.jar、ただし、これらのファイルは存在しません。また、/tmp/spark-1eXXX/userFiles-9XXX/ディレクトリは空です。

私は何が欠けていますか?

4

4 に答える 4

0

$SPARK_HOME/conf/spark-defaults.conf に次の行を追加します。

spark.executor.extraClassPath file_path/jar1:file_path/jar2

spark.driver.extraClassPath file_path/jar1:file_path/jar2

于 2016-05-11T09:34:28.603 に答える