myDF.write.format("orc").partitionBy("creation_date").save("/user/xyz/data3")
HDFS ディレクトリ /user/xyz/data3 にある myDF データフレームの「creation_date」列に基づいて分割されたデータ ファイルを ORC 形式で作成しようとすると、次のエラーが発生します: java.io.IOException: 67108864 バイトのメモリを取得できません。
この問題に関連してインターネットに投稿されている可能性のあるすべてのシナリオを試しましたが、どれもうまくいきませんでした。私が試したそれらのいくつかは次のとおりです。sqlContext.setConf("spark.sql.tungsten.enabled", "false")
sqlContext.setConf("spark.buffer.pageSize", "16m")
この問題を解決する方法を教えてください。
この問題は Spark 1.5.1 で発生しています。
エラーのスクリーン ショット。java.io.IOException: 67108864 バイトのメモリを取得できません
