2

リモート マシンで Scala を使用してSparkプログラムを作成しようとしていますが、そのマシンにはインターネット アクセスがありません。Hadoop のビルド済みバージョンを使用しているため、コンパイル済みのサンプルを実行できます。

[user@host spark-0.7.2]$ ./run spark.examples.LocalPi

しかし、マシン上でsparkを参照するものはコンパイルできません:

$ scalac PiEstimate.scala
PiEstimate.scala:1: error: not found: object spark
import spark.SparkContext
       ^

通常、依存関係を処理するために SBT を使用しますが、マシンにはインターネット アクセスがなく、SSH を介したインターネットのトンネリングは不可能です。

インターネットにアクセスできないリモート マシンで SBT プロジェクトをコンパイルすることは可能ですか? または、Spark の依存関係を Scala コンパイラに手動でリンクするにはどうすればよいでしょうか。

4

2 に答える 2

0

これが古い投稿であることは知っていますが、最近この問題に対処する必要がありました。.sbt ファイルから依存関係を削除し、spark jar (spark-home/assembly/target/scala.2-10/spark-[...].jar) を my-project-dir/lib の下に追加することで解決しました。ディレクトリ。を使用してそれを指すこともunmanagedBase = file("/path/to/jars/")できます次に、通常どおり sbt パッケージを使用できます

于 2015-08-19T18:10:42.403 に答える