問題タブ [spark-jobserver]

私はspark-shellを使ってsparkを試しています。私のデータはすべてSQLにあります。

今、jobserver を介してスタンドアロン ジョブを実行しています。次のエラー メッセージが表示されます

以下のように、jar ファイルを local.conf ファイルに含めました。context-settings{ .....dependent-jar-uris = ["file:///absolute/path/to/the/jarfile"] ...... }

JobServer の実験を始めたばかりで、本番環境で使用したいと考えています。

私たちは通常、spark ジョブを個別にヤーン クライアント モードで実行しますが、Ooyala Spark JobServer が提供するパラダイムに移行したいと考えています。

公式ページに示されている WordCount の例を実行できます。カスタム Spark ジョブを Spark JobServer に送信しようとしたところ、次のエラーが発生しました。

SparkJob の拡張や runJob() メソッドの実装など、必要なコード変更を行いました。

これは、私が使用した dev.conf ファイルです。

また、 --files 、 --jars など、spark ジョブの実行時パラメーターを指定するにはどうすればよいですか? たとえば、私は通常、次のようにカスタム Spark ジョブを実行します。

Apache job-server と SparkJob の .jar に問題があります。私はDataStaxを備えたVirtualBoxを持っています。Cassandra と Spark があります。git job- server から Apache job-server をインストールします。例を実行したいのでsbt job-server-tests/package、ターミナルからジョブサーバーを作成して次に実行しますsbt re-start

ジョブサーバー作業の例

1. curl --data-binary @/home/job-server/job-server-tests/target/job.jar localhost:8090/jars/test
2. curl -d "" 'localhost:8090/jobs?appName=test&classPath=spark.jobserver.LongPiJob'

問題は、.jar を作成するときに、Scala IDE を使用して Windows で eclipse を使用することです。sbteclipse プラグインをインストールC:\Users\user\scalaWorkspace\LongPiJobし、scala プロジェクトでフォルダーを作成しました。cmd を実行し、このフォルダーに移動して実行sbt eclipse sbt compileしsbt packageます。次に、.jar を VirtualBox にコピーします。次に 1 を使用します。カールコマンド。2を使用する場合。curl コマンドでエラーが発生する

job-server[ERROR] スレッド「pool-25-thread-1」の例外 java.lang.AbstractMethodError: com.forszpaniak.LongPiJob$.validate(Ljava/lang/Object;Lcom/typesafe/config/Config;)Lspark/ジョブサーバー/SparkJobValidation; job-server[ERROR] at spark.jobserver.JobManagerActor$$anonfun$spark$jobserver$JobManagerActor$$getJobFuture$4.apply(JobManagerActor.scala:225) job-server[ERROR] at scala.concurrent.impl.Future$PromiseCompletingRunnable .liftedTree1$1(Future.scala:24) job-server[ERROR] at scala.concurrent.impl.Future$PromiseCompletingRunnable.run(Future.scala:24) job-server[ERROR] at java.util.concurrent.ThreadPoolExecutor. runWorker(ThreadPoolExecutor.java:1145) ジョブ サーバー[エラー] java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) でジョブ サーバー[エラー] java.lang.Thread.run(Thread.ジャワ:745)

サーバーを起動したターミナルで。curlターミナルで私は得る

[root@localhost spark-jobserver]# curl -d "stress.test.longpijob.duration=15" 'localhost:8090/jobs?appNametestJob1.5&classPath=com.forszpaniak.LongPiJob' { "status": "ERROR", " result": { "message": "Ask timed out on [Actor[akka://JobServer/user/context-supervisor/4538158c-com.forszpaniak.LongPiJob#-713999361]] [10000 ms] 後", "errorClass" : "akka.pattern.AskTimeoutException", "stack": ["akka.pattern.PromiseActorRef$$anonfun$1.apply$mcV$sp(AskSupport.scala:333)", "akka.actor.Scheduler$$anon$7. run(Scheduler.scala:117)", "scala.concurrent.Future$InternalCallbackExecutor$.scala$concurrent$Future$InternalCallbackExecutor$$unbatchedExecute(Future.scala:694)", "scala.concurrent.Future$InternalCallbackExecutor$.execute(Future.scala:691)"、"akka.actor.LightArrayRevolverScheduler$TaskHolder.executeTask(Scheduler.scala:467)"、"akka.actor.LightArrayRevolverScheduler$$anon$8.executeBucket$1(Scheduler. scala:419)"、"akka.actor.LightArrayRevolverScheduler$$anon$8.nextTick(Scheduler.scala:423)"、"akka.actor.LightArrayRevolverScheduler$$anon$8.run(Scheduler.scala:375)"、"java .lang.Thread.run(Thread.java:745)"] }LightArrayRevolverScheduler$$anon$8.run(Scheduler.scala:375)", "java.lang.Thread.run(Thread.java:745)"] }LightArrayRevolverScheduler$$anon$8.run(Scheduler.scala:375)", "java.lang.Thread.run(Thread.java:745)"] }

私の .jar では、LongPiJob.scala の例のコードを使用しています。このサーバーエラーに関する情報を検索しましたが、バージョンの問題であると思いますか?

java.lang.AbstractMethodError: com.forszpaniak.LongPiJob$.validate(Ljava/lang/Object;Lcom/typesafe/config/Config;)Lspark/jobserver/SparkJobValidation;

代わりに Object が SparkContext であるべきだと思います...

私は DataStax を使用します: 4.6 job-server: 0.5.1 scala: 2.10.4 sbt: 0.13 spark: 1.1.0

私のテストコード

Spark world と Job Server は初めてです

私のコード：

spark-jobServer を使用して Jar をプッシュして実行すると、spark-jobserver ターミナルでこれを取得します

$EXTRA_JAR 変数を cassandra-spark-connector-assembly に既に追加しています。

を試しておりJobServer、本番環境で使用したいと考えています。

mlliband を併用したいのですspark-jobserverが、(spark-jobserverで、ジョブ送信時に)エラーが発生しました。

と を使用spark-jobserver 0.5.0してspark 1.2います。

それについて何か考えはありますか？

コード：

DSE 4.6 を 4.7 にアップグレードした後、job-server-0.5.0 で問題が発生しました。server_start.sh を実行すると、「Failed to find Spark assembly in /usr/share/dse/spark/assembly/target/scala-2.10 You need to build Spark before running this program.」というエラーが表示されます。

/usr/share/dse/spark/bin/compute-classpath.sh で見つけました

このコードはエラーを発生させます

/usr/share/dse/spark/bin/spark-submit を実行すると、同じエラーが発生します。

そのため、ジョブをテストするためにspark jobserverのローカルインスタンスを作成しようとしていますが、実行することさえできません。

そのため、vagrant インスタンスに入ったときに最初にすることは、spark を開始することです。私は、それが提供する submit-job ユーティリティを使用してジョブをスパークに送信するため、これが機能することを知っています。次に、ローカルの spark-jobserver クローンに移動して実行します

別のターミナルで、vagrant インスタンスに ssh して実行します

これは私のconfig/local.confにあるものです