0

スパークデータセットではcreateTableColumnTypes、テーブルを作成するときに、デフォルトの代わりに使用するデータベース列のデータ型に使用しています。完璧に機能してVARCHAR(n)いますが、使用している場合はTEXTエラーがスローされます。コードはJavaで書かれています

Dataset < Row > df = sqlContext.read()
                    .format("com.databricks.spark.csv")
                    .schema(sparkDataSchema)
                    .option("delimiter", dataDelimeter)
                    .option("header", true).option("quote", "\"")
                    .option("escape", "\"").load(paths.split(","));


df.write().option("truncate", true).mode(SaveMode.Overwrite).option("createTableColumnTypes", customSchema).jdbc(url, tableName, connectionProperties);

エラーを以下に示します

スレッド「メイン」org.apache.spark.sql.catalyst.parser.ParseException での例外: DataType テキストはサポートされていません (行 1、位置 29)

4

0 に答える 0