SparklyR と Spark 2.0.2 を使用してロジスティック回帰を呼び出した後、Spark で次のエラーが発生します。
ml_logistic_regression(Data, ml_formula)
Spark に読み込んだデータセットは比較的大きい (2.2GB)。エラーメッセージは次のとおりです。
Error: org.apache.spark.SparkException: Job aborted due to stage failure: Task
13 in stage 64.0 failed 1 times, most recent failure:
Lost task 13.0 in stage 64.0 (TID 1132, localhost):
java.util.concurrent.ExecutionException:
java.lang.Exception:
failed to compile: org.codehaus.janino.JaninoRuntimeException:
Code of method "(Lorg/apache/spark/sql/catalyst/InternalRow;)Z"
of class "org.apache.spark.sql.catalyst.expressions.GeneratedClass$SpecificPredicate"
grows beyond 64 KB
他の人にも同様の問題がありました: https://github.com/rstudio/sparklyr/issues/298しかし、解決策が見つかりません。何か案は？