私たちのチームは、レポート用のデータ ウェアハウスとして Redshift に ETL を作成しようとしています。Microsoft SQL Server を使用しており、データベースを 40 以上のデータソースに分割しています。これらすべての同一のデータ ソースからのデータを 1 つの Redshift DB にパイプできる方法を探しています。
AWS Glue を見ると、これを達成することはできないようです。開発者がジョブ スクリプトを編集できるようにするため、複数のデータベースをループして同じテーブルを単一のデータ ウェアハウスに転送した経験のある人が他にいるかどうか疑問に思っていました。データベースごとにジョブを作成する必要がないようにしています...プログラムでループして、データベースごとに複数のジョブを作成できない限り。
スキーマと現在のデータを Redshift に移行するのに役立つ DMS も調べましたが、複数のパーティション分割されたデータソースの問題にも対応していないようです。