4

Windows 8 に spark 1.2.1 をインストールしており、Hadoop 2.4 用のビルド済みパッケージをダウンロードしました。

pysparkを実行していると、次のエラーが発生します。

C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4>bin\pyspark
Running python with PYTHONPATH=C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4\bin\..\python\lib\py4j-0.8.2.1-src.zip;C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4\bin\..\python;
Python 2.7.6 (default, Nov 10 2013, 19:24:18) [MSC v.1500 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
The system cannot find the path specified.
Traceback (most recent call last):
File "C:\Users\Dinesh\Desktop\spark-1.2.1-bin-Hadoop2.4\bin\..\python\pyspark\shell.py", line 45, in <module>
sc = SparkContext(appName="PySparkShell", pyFiles=add_files)
File "C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4\python\pyspark\context.py", line 102, in __init__
SparkContext._ensure_initialized(self, gateway=gateway)
File "C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4\python\pyspark\context.py", line 212, in _ensure_initialized
SparkContext._gateway = gateway or launch_gateway()
File "C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4\python\pyspark\java_gateway.py", line 73, in launch_gateway
raise Exception(error_msg)
Exception: Launching GatewayServer failed with exit code 1!
Warning: Expected GatewayServer to output a port, but found no output.

検索したところ、パス変数が正しく定義されていないために一般的にエラーが発生することがわかりましたが、チェックしたところ、変数はすべて適切に配置されています。どうすればエラーを解決できますか? 「指定されたパスが見つかりません。」どのパスについて話しているのですか。

4

3 に答える 3

0

DOS クラスパスの cygwin が原因である可能性があります。Spark はファイル 'spark-class2.cmd' で find コマンドを使用します。これは、DOS の find コマンドの代わりに cygwin の find コマンドを使用するため、動作が多少異なります。DOS PATH から cygwin を削除したところ、問題は解決しました。

于 2015-03-11T14:48:42.303 に答える