azure-data-factory - BLOB コンテナーからの異なるスキーマを単一の SQL テーブルにマージする

Question

異なるスキーマ (テーブル macthes のほとんどのスキーマ) を持つ BLOB コンテナー内のフォルダーから 10 個のファイルを読み取り、それらを単一の SQL テーブル ファイル 1 にマージする必要があります。そのような列が 25 個あるとします。

ファイル 2: ファイル 2 の列の一部がファイル 1 の列と一致します

ファイル 3:

出力: SQL テーブル

Azure データ ファクトリでパイプラインをセットアップして、これらの列を 1 つの SQL テーブルにマージする方法。

私のアプローチ：メタデータアクティビティを取得--->子アイテムごとに---コピーアクティビティ

マッピングのために---これらのファイルからのすべてのソース/シンク列を含むjsonを作成しました

Answer 1

各ソース ファイル名と Tabular Translator を含む JSON ファイルを作成できます。次に、ルックアップ アクティビティを使用して、このファイルのコンテンツを取得します (最初の行のみをチェックしないでください)。この配列を For Each アクティビティでループし、データセットでソース ファイル名を渡します。最後に、データのコピー アクティビティを作成し、Tabular Translator をマッピングとして使用します。