スパークデータセットではcreateTableColumnTypes
、テーブルを作成するときに、デフォルトの代わりに使用するデータベース列のデータ型に使用しています。完璧に機能してVARCHAR(n)
いますが、使用している場合はTEXT
エラーがスローされます。コードはJavaで書かれています
Dataset < Row > df = sqlContext.read()
.format("com.databricks.spark.csv")
.schema(sparkDataSchema)
.option("delimiter", dataDelimeter)
.option("header", true).option("quote", "\"")
.option("escape", "\"").load(paths.split(","));
df.write().option("truncate", true).mode(SaveMode.Overwrite).option("createTableColumnTypes", customSchema).jdbc(url, tableName, connectionProperties);
エラーを以下に示します
スレッド「メイン」org.apache.spark.sql.catalyst.parser.ParseException での例外: DataType テキストはサポートされていません (行 1、位置 29)