spark.read.format("jdbc").option("query", tmpSql)
Mysql からテーブルをロードするために使用していますselect * from (xxx) where 1=0
。データベース モニターからクエリを確認できます。後で、このクエリが Spark でテーブル スキーマを推測するために使用されることがわかります。ただし、を使用するspark.read.format("jdbc").option("query", tmpSql).schema(xxx)
と、クエリを推測するテーブル スキーマがまだ存在します。customSchema が既に指定されているのに、Spark がまだテーブル スキーマを推測する必要があるのはなぜですか?
質問する
45 次