-1

クラスターへの Spark のインストールに何日も苦労しています。

クラスターは Hadoop 2.2 を使用しており、YARN で PySpark を使用したいためです。MAVEN を使用して Spark をビルドする必要がありました。このプロセスの出力は .jar ファイルです: spark-assembly-1.2.0-hadoop2.2.0.jar (私は Java に詳しくありません)。この .jar ファイルは、Java を使用して任意のノードで実行しようとしても実行されません (「メイン クラスが見つからないか、読み込めませんでした」)。

私が見つけたインストール手順には、私の MAVEN ビルドの出力ではない .sh ファイルの実行が含まれています。

ここで何が欠けていますか？ドキュメントで答えが見つかりません。

4

1 に答える 1

0

PyShark を使用するために、Maven を使用して Spark をビルドする必要はありません。ビルド済みの Spark パッケージの送信スクリプトを使用します。

編集：

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" export JAVA_HOME=your_java_home

./make-distribution.sh -Pyarn -Phadoop-2.2

結果のディストリビューションは、dist ディレクトリにあります。

于 2015-02-10T12:52:27.000 に答える