0

Play アプリケーションを Spark スタンドアロン クラスタにプラグインすると、開発モードでは問題なく実行されますが、プロダクション モードでデプロイしようとすると、次のエラーが発生します。

 Caused by: org.apache.spark.SparkException: A master URL must be set in your configuration

私はspark-2.1を使用しています ここにスニペットがあります

lazy val spark = SparkSession.builder().appName("Spark_with_Play").master("spark://ip:7077").config("spark.executor.memory", "2g").config("spark.deploy.defaultCores",8).getOrCreate()

本番モードで conf/appliaction.conf ファイルにスパークマスターを設定するにはどうすればよいですか?

4

1 に答える 1

0

application.confファイルから構成を読み取り、それらをコードに渡すために使用されるタイプセーフな構成を見つけることができる多くの試行の後。application.confファイルの内容は次のとおりです。

spark.master = "spark://ip:7077"

build.sbtに追加される行は次のとおりです。

"com.typesafe"%"config"%"1.2.0"

コントローラーでは、スニペットのコードを次に示します。

import com.typesafe.config._
val conf = ConfigFactory.load()
val sparkMaster = conf.getString("spark.master")

val spark= SparkSession.builder().master(sparkMaster).getOrCreate()
于 2017-04-12T09:21:20.227 に答える