(ここgraphframes
から) パッケージをダウンロードし、ローカル ディスクに保存しました。では、使ってみたいと思います。したがって、次のコマンドを使用します。
IPYTHON_OPTS="notebook --no-browser" pyspark --num-executors=4 --name gorelikboris_notebook_1 --py-files ~/temp/graphframes-0.1.0-spark1.5.jar --jars ~/temp/graphframes-0.1.0-spark1.5.jar --packages graphframes:graphframes:0.1.0-spark1.5
graphframes
新しいパッケージを除いて、pyspark のすべての機能は期待どおりに動作しimport graphframes
ますImportError
。を調べるsys.path
と、次の 2 つのパスが表示されます。
/tmp/spark-1eXXX/userFiles-9XXX/graphframes_graphframes-0.1.0-spark1.5.jar
と/tmp/spark-1eXXX/userFiles-9XXX/graphframes-0.1.0-spark1.5.jar
、ただし、これらのファイルは存在しません。また、/tmp/spark-1eXXX/userFiles-9XXX/
ディレクトリは空です。
私は何が欠けていますか?