問題タブ [spark-jobserver]

実行すると問題なく sparkContext が作成され ます
curl -d "" 'localhost:8090/contexts/test-context?num-cpu-cores=4&memory-per-node=512m'
が、sparkSQL コンテキストを作成するときにエラーが 発生します。カールはこんな感じcurl -d "" '127.0.0.1:8090/contexts/sql-context?context-factory=spark.jobserver.context.SQLContextFactory'

{ "status": "CONTEXT INIT ERROR", "result": { "message": "", "errorClass": "java.lang.ClassNotFoundException", "stack": ["java.net.URLClassLoader$1.run(URLClassLoader.java:366)", "java.net.URLClassLoader$1.run(URLClassLoader.java:355)", "java.security.AccessController.doPrivileged(Native Method)", "java.net.URLClassLoader.findClass(URLClassLoader.java:354)", "java.lang.ClassLoader.loadClass(ClassLoader.java:425)", "java.lang.ClassLoader.loadClass(ClassLoader.java:358)", "spark.jobserver.JobManagerActor.createContextFromConfig(JobManagerActor.scala:265)", "spark.jobserver.JobManagerActor$$anonfun$wrappedReceive$1.applyOrElse(JobManagerActor.scala:106)", "scala.runtime.AbstractPartialFunction$mcVL$sp.apply$mcVL$sp(AbstractPartialFunction.scala:33)", "scala.runtime.AbstractPartialFunction$mcVL$sp.apply(AbstractPartialFunction.scala:33)", "scala.runtime.AbstractPartialFunction$mcVL$sp.apply(AbstractPartialFunction.scala:25)", "ooyala.common.akka.ActorStack$$anonfun$receive$1.applyOrElse(ActorStack.scala:33)", "scala.runtime.AbstractPartialFunction$mcVL$sp.apply$mcVL$sp(AbstractPartialFunction.scala:33)", "scala.runtime.AbstractPartialFunction$mcVL$sp.apply(AbstractPartialFunction.scala:33)", "scala.runtime.AbstractPartialFunction$mcVL$sp.apply(AbstractPartialFunction.scala:25)", "ooyala.common.akka.Slf4jLogging$$anonfun$receive$1$$anonfun$applyOrElse$1.apply$mcV$sp(Slf4jLogging.scala:26)", "ooyala.common.akka.Slf4jLogging$class.ooyala$common$akka$Slf4jLogging$$withAkkaSourceLogging(Slf4jLogging.scala:35)", "ooyala.common.akka.Slf4jLogging$$anonfun$receive$1.applyOrElse(Slf4jLogging.scala:25)", "scala.runtime.AbstractPartialFunction$mcVL$sp.apply$mcVL$sp(AbstractPartialFunction.scala:33)", "scala.runtime.AbstractPartialFunction$mcVL$sp.apply(AbstractPartialFunction.scala:33)", "scala.runtime.AbstractPartialFunction$mcVL$sp.apply(AbstractPartialFunction.scala:25)", "ooyala.common.akka.ActorMetrics$$anonfun$receive$1.applyOrElse(ActorMetrics.scala:24)", "akka.actor.Actor$class.aroundReceive(Actor.scala:465)", "ooyala.common.akka.InstrumentedActor.aroundReceive(InstrumentedActor.scala:8)", "akka.actor.ActorCell.receiveMessage(ActorCell.scala:516)", "akka.actor.ActorCell.invoke(ActorCell.scala:487)", "akka.dispatch.Mailbox.processMailbox(Mailbox.scala:238)", "akka.dispatch.Mailbox.run(Mailbox.scala:220)", "akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:393)", "scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)", "scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)", "scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)", "scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)"] }
HiveContextFactorycurl -d "" '127.0.0.1:8090/contexts/sql-context?context-factory'

Spark cassandraコネクタとcassandraドライバを使用するsparkアプリケーションでストレステストを行っています。私のアプリケーションでは、cassandra ドライバーを使用して C* テーブルから最新の値を選択しています。これは、spark ジョブの送信が spark-job サーバー経由で 1 つずつ発生する限り、正常に機能しています。しかし、複数のジョブ送信 (リクエスト数 = 80) が同時に発生すると、以下の例外が発生します。

スパークジョブサーバーで単一のコンテキストを作成してジョブを実行しています。

私のコード

質問

コードで間違っていることはありますか?

この問題に対処するには？

アプリケーション全体のシングルトン クラスタ オブジェクトを作成して共有する必要がありますか?

sc.cassandraTableJava ドライバーを直接使用する代わりに、メソッドを使用する必要がありますか?

Linux マシンでspark-job-serverを起動しようとしています。私は次のことをしました：

1. cloudera ディストリビューション CDH(5.x) をインストールし、稼働させました
2. spark-job-server上記のgithubからダウンロード
3. プロジェクトをいくつかのフォルダーに抽出しました
4. sbt-0.13.8 をインストールし、パス変数を設定して sbt コマンドを実行できるようにする
5. プロジェクト ディレクトリ ( spark-job-server/) に移動し、sbt コマンドを実行しました。
6. SBT シェルから、「re-start」と入力しました。これは、spark-job-server.

次に、この例外を受け取りました：

いくつかの詳細情報:

• これらの依存関係を手動でダウンロードして配置しました
• 再起動コマンドを再実行しても、sbt は.ivy2フォルダーにコピーした同じ依存関係を見つけることができません

どうすればこれを修正できますか?

私はスパークジョブサーバーを開始しようとしています。ここに私が従っている手順があります:

• テンプレートに基づいて local.sh を構成します。
• 次に、./bin/server_deploy.sh を実行すると、エラーなしで終了します。
• local.conf を構成します。
• デプロイ サーバーで ./bin/server_start.sh を実行します。

しかし、最後のステップを実行すると、次のエラーが発生します。

エラー: エージェントによって例外がスローされました: java.lang.NullPointerException

注: 私は spark 1.4.1 を使用しています。jobserver のバージョン 0.5.2 を使用しています ( https://github.com/spark-jobserver/spark-jobserver/tree/v0.5.2 )

これを修正する方法（または少なくともデバッグする方法）についてのアイデア。

ありがとう

私はSparkジョブサーバーでSparkジョブを実行しています.HTTPポストでジョブパラメータを渡します.

現時点では、これらのパラメーターを CSV リストとして正常に渡すことができます。例えば：

これらのパラメータを JSON 形式でカプセル化することはできますか? 私は次のような成功を収めずに試しました：