の機能を使用して Scala アプリを実行すると、例外がスローされますmyRDD.saveToEs(データフレームから saveToEs も試しました)。私のESバージョンは2.3.5. 私はSparkを使用して1.5.0いるので、私が知らないでこれを構成する方法があるかもしれませんSparkContext.
スタック トレースは次のとおりです。
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 1 times, most recent failure: Lost task 0.0 in stage 2.0 (TID 2, localhost): org.apache.spark.util.TaskCompletionListenerException: Found unrecoverable error [127.0.0.1:9200] returned Bad Request(400) - failed to parse [foo_eff_dt];Invalid format: ""; Bailing out..
at org.apache.spark.TaskContextImpl.markTaskCompleted(TaskContextImpl.scala:87)
at org.apache.spark.scheduler.Task.run(Task.scala:90)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
指定されたフィールドにfoo_eff_dtは値があり、場合によっては値がありません (つまり、空)。これが例外を引き起こしているかどうかはわかりません。
私のscalaコードスニペットは次のようになります:
fooRDD.saveToEs("foo/bar")
これを解決するために私を助けてください/ガイドしてください。
ティア。