65

CDH 5.2 を使用しています。spark-shellを使用してコマンドを実行できます。

  1. spark コマンドを含むファイル (file.spark) を実行するにはどうすればよいですか。
  2. sbt なしで CDH 5.2 で scala プログラムを実行/コンパイルする方法はありますか?
4

6 に答える 6

152

コマンドラインでは、使用できます

spark-shell -i file.scala

で書かれたコードを実行するfile.scala

于 2015-03-17T02:17:10.933 に答える
109

spark-shell から外部ファイルをロードするには、次のようにします。

:load PATH_TO_FILE

これにより、ファイル内のすべてが呼び出されます。

申し訳ありませんが、SBTの質問に対する解決策はありません:-)

于 2014-12-31T16:59:48.787 に答える
4

と の両方でテストされてspark-shell version 1.6.3おりspark2-shell version 2.3.0.2.6.5.179-4、次のようにシェルの stdin に直接パイプできます。

spark-shell <<< "1+1"

またはあなたのユースケースでは、

spark-shell < file.spark
于 2019-11-22T11:50:17.050 に答える
0

シェルスクリプトを実行するように実行できます。コマンドライン環境の例から実行するこの例

./bin/spark-shell:- これは bin の下の spark-shell のパスです /home/fold1/spark_program.py:- これは Python プログラムが存在するパスです。

そう：

./bin.spark-shell /home/fold1/spark_prohram.py
于 2020-01-21T13:48:06.023 に答える