問題タブ [azure-data-factory-pipeline]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
azure-data-factory - Azure Data Factory - For Each で失敗した内部アクティビティ
ルックアップ アクティビティを使用して、値を for each iteration アクティビティに渡しました。Lookup からの出力値は、SQL テーブルから生成されます。for each 内のアクティビティの 1 つが失敗した場合に反復が開始されると、for each イテレータはその回数だけ実行を試行し、ルックアップ出力値が使用可能になります。ループから抜け出すにはどうすればよいですか？ループから抜け出すために SQL テーブルからレコードを削除しましたが、ループは引き続き実行されます。内部アクティビティが失敗したときに For Each Items セットをクリアするにはどうすればよいですか?
よろしく、 サンディープ
azure - Azure Data Factory Parquet 動的スキーマ マージ
ADLS Gen2 に複数の Parquet ファイルがあり、parquet ファイルには異なる列/スキーマがありますが、すべての異なるスキーマは互いに互換性があります。ADF でデータセットを作成すると、68 列のうち 26 列しか検出されません (26 列はすべての寄木細工のファイルにあります)。pyspark を使用してファイルを読み取る場合、次の行を使用してさまざまなスキーマを動的にマージできます。
parquetFile = spark.read.option("mergeSchema", "true").parquet("./data/*/*/*/*/*/")
Azure Data Factory で同様の設定を行う方法はありますか?
ありがとうございました。