ローカル モードで spark 1.6.0 を使用しています。pyspark カーネルが jupyter ノートブックで起動するように、ipython pyspark プロファイルを作成しました。これはすべて正しく機能します。
このパッケージspark-csvをjupyterノートブック内で使用したい。ファイルを編集してコマンドの後~/.ipython/profile_pyspark/startup/00-pyspark-setup.pyに入れようとしましたが、成功しませんでした。まだこのエラーメッセージが表示されます:--packages com.databricks:spark-csv_2.11:1.4.0pyspark-shell
Py4JJavaError: An error occurred while calling o22.load.
: java.lang.ClassNotFoundException: Failed to find data source: com.databricks.spark.csv. Please find packages at http://spark-packages.org
I have tried also [this solution][2] and many others...none of them worked.
何か提案はありますか？