SQL Server を使用するオンプレミスの Dat Warehouse があります。SQL Data Warehouse にデータを読み込む最適な方法は何ですか?
2 に答える
データをロードするプロセスは、データの量によって異なります。非常に小さなデータ セット (100 GB 未満) の場合は、一括コピー コマンド ライン ユーティリティ (bcp.exe) を使用して SQL Server からデータをエクスポートし、Azure SQL Data Warehouse にインポートするだけです。100 GB を超えるデータ セットの場合、bcp.exe を使用してデータをエクスポートし、AzCopyなどのツールを使用してデータを Azure Blob Storage に移動し、 (TSQL コードを介して) 外部テーブルを作成してから、テーブルの作成を介してデータをプルできます。 As Select (CTAS)ステートメント。
PolyBase/CTAS ルートを使用すると、MPP ベースのシステムである Azure SQL Data Warehouse で複数のコンピューティング ノードとデータ処理の並列性を活用できます。これにより、各計算ノードが他のノードと並行してデータのブロックを処理できるため、データ取り込みのパフォーマンスが大幅に向上します。
CTAS ステートメントの実行時に SQL Data Warehouse で使用できる DWU (コンピューティング リソース) の量を増やすことも 1 つの考慮事項です。これにより、コンピューティング リソースの数が増え、追加の並列処理が追加され、合計取り込み時間が短縮されます。