1

ジョブ管理の作業に Spark ジョブ サーバーを使用しています。たとえば、10個のジョブを作成する必要があります。そのために 10 個の個別の jar を作成し、次の方法で呼び出すことができます。

 curl -d "" 'job-server-host:8090/jobs?appName=my_job_number_1&classPath=com.spark.jobs.MainClass'

 curl -d "" 'job-server-host:8090/jobs?appName=my_job_number_2&classPath=com.spark.jobs.MainClass'

...

または、10 個のジョブ クラスを持つ jar を 1 つだけ作成できます。

 curl -d "" 'job-server-host:8090/jobs?appName=my_alone_job&classPath=com.spark.jobs.Job1'

 curl -d "" 'job-server-host:8090/jobs?appName=my_alone_job&classPath=com.spark.jobs.Job2'
...

どちらのバリアントがより好ましいですか?またその理由は?

4

1 に答える 1

1

spark-job-server を使用する主な動機は、Spark ジョブ管理とコンテキスト管理です。

それはすべてあなたの要件に依存します。これらのジョブが関連していてグループ化できると思われる場合は、個別の jar を作成してそれらのジョブに同じアプリとコンテキストを使用するのではなく、それらすべてを 1 つの jar に入れるか、関連するジョブ用に異なる 2 つのパッケージを作成することができます。

于 2016-06-06T10:02:53.627 に答える