ADLS Gen2 に複数の Parquet ファイルがあり、parquet ファイルには異なる列/スキーマがありますが、すべての異なるスキーマは互いに互換性があります。ADF でデータセットを作成すると、68 列のうち 26 列しか検出されません (26 列はすべての寄木細工のファイルにあります)。pyspark を使用してファイルを読み取る場合、次の行を使用してさまざまなスキーマを動的にマージできます。
parquetFile = spark.read.option("mergeSchema", "true").parquet("./data/*/*/*/*/*/")
Azure Data Factory で同様の設定を行う方法はありますか?
ありがとうございました。