Apache Spark で日付列の null 値を処理できません。nullを空の文字列とnull値に置き換えてみました。
私が得ているエラーは
java.text.ParseException: Unparseable date: ""
私はcsv-spark、databricks:spark-redshift_2.11 2.0.1を使用しています
コード
var originalDataFrame = sqlContext.load(
"com.databricks.spark.csv",
schema = sourceSchema,
Map("path" -> filePath,
"header" -> "false",
"codec"->"org.apache.hadoop.io.compress.GzipCodec",
"delimiter"->"|",
"dateFormat" -> dateFormat,
"nullValue"->""
))
前もって感謝します。