0

私はApache Sparkを初めて使用します。現在のところ、CDH のどのバージョンも Apache Spark SQL をサポートしていないと聞きました。hortonworks ディストリビューションでも同様です。本当..？

もう 1 つは、私の PC に CDH 5.0.0 がインストールされていることです。私の CDH はどのバージョンの Apache Spark をサポートしていますか?

また、私の CDH ディストリビューションで私の Spark プログラムを実行する手順を教えてください。Apache Spark 1.2 バージョンを使用していくつかの基本的なプログラムを作成しましたが、それらのプログラムを CDH 環境で実行できません。spark-submit コマンドを使用して Spark プログラムを実行しているときに、非常に基本的な問題に直面しています。

spark-submit: コマンドが見つかりません

Spark プログラムを実行する前に、何か構成する必要がありますか?

前もって感謝します

4

1 に答える 1

2

CDH のすべてのディストリビューションには、Spark SQL を含む Spark ディストリビューション全体が含まれます。

編集: CDH 5.5.x 以降でサポートされています。

CDH 5.0.x には Spark 0.9.x が含まれています。CDH 5.3.x には Spark 1.2.x が含まれており、5.4.x はアップストリームでリリースされようとしているため、1.3.x を出荷する必要があります。

spark-submitCDH を使用している場合は、既にパスの一部になっています。他の場所から実行している場合は、このファイルをパスに配置するか、完全なパスを指定する必要があります。これはどのプログラムでも同じです。だから、これはあなたが設定したものに何か問題があります。

于 2015-02-22T22:32:29.227 に答える