問題タブ [spark-jobserver]

私のユースケースは次のとおりです。Pythonコード内からJavaメソッドを呼び出せるようにする必要があります

py spark から、これは非常に簡単なようです

この ./pyspark --driver-class-path /path/to/app.jar のように py spark を開始します

そしてpysparkシェルからこれを行います

これはうまくいきます。

ただし、spark ジョブ サーバーを使用する場合:

出荷された WordCountSparkJob.py の例を使用します

私の python.conf は次のようになります

次のエラーが表示されます

python.conf ファイルには、app.jar がdependent-jar-uris のエントリとして含まれています。ここで何かが足りないのですか

spark-submit を実行すると、シェル内に println ステートメントが表示されます。spark ジョブを sparkjobserver に送信するときに、stdout メッセージの送信先がわかりません。誰もそれを知っていますか？

DSE Spark Job Serverを使用しています。私が達成しようとしているタスクは次のとおりです。

Java で作成したスパーク ジョブは、cassandra db からいくつかのデータをフェッチすることが期待されており、これは DSE Analytics クラスターにデプロイされます。

コードは次のとおりです。

問題：

このコードを実行しているときに、次の問題が発生します。

誰かが問題を解決できますか。注：/tmpフォルダーのクリーニングを複数回試みました。この問題を解決できません。私が使用している DSE のバージョンは 4.8.10 です。

私は sparkjobserver restful サービスを使用しています。返された json 文字列がすべてのオブジェクトと配列の周りに余分な [] を持っていることを除いて、すべて正常に動作します。各配列は次のようになります

誰もこの問題を見たことがありますか？解決策はありますか？

Spark 1.6.2 でspark-jobserver 0.6.2を実行しようとしています

現在私がやっていることはこれです：

• git クローンhttps://github.com/spark-jobserver/spark-jobserver.git

• git チェックアウト タグ/v0.6.2 -f

• sbt ジョブ サーバー/パッケージ

この時点で、システムは次のエラーでクラッシュします。

私は何も見つけられませんでした、誰かがこれを行う方法を知っていますか?

ありがとうございました

spark-jobserver に SparkJobs を実装するために Maven Java プロジェクトをセットアップしています。GitHub Spark JobServer ページでは、新しい 0.7.0 バージョンについて言及していますが、彼らが提供する Maven リポジトリでは見つかりません。

最新のものは 0.6.2 ですが、このバージョンを発表したばかりですか? または、どこで見つけられるか、これから始めるので、最新のものから始めたいと思います。