java - Spark submit で外部パラメーターを渡す方法

Question

私のアプリケーションでは、データベースに接続する必要があるため、アプリケーションの送信時に IP アドレスとデータベース名を渡す必要があります。

私は次のように申請書を提出します:

./spark-submit --class class name --master spark://localhost:7077 \
--deploy-mode client /home/hadoop/myjar.jar

Answer 1

zero323 で述べられているように、リンクからspark-submitコマンドを使用できます

  ./bin/spark-submit \
  --class <main-class>
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

ここで、confは、アプリケーションが特定のプロパティ (executor メモリ) のように実行するために必要な、またはSpark-default.confに設定されているデフォルト プロパティをオーバーライドする場合に必要な Spark 関連の構成を渡すために使用されます。

ユースケースに関する限り、IP をアプリケーションに渡してデータベースに接続したい場合は、JAR の後に渡される[application-arguments]を使用できます。

メインを次のように設定する場合：

def main(args: Array[String])

次に、.jar 行の後に指定された引数として何でも受け入れることができます。

詳細については、参照してください