ソフトウェアのレポート モジュールを開発しているため、システムの運用データベースから、レポート (SQL Server レポート) のデータソースとして使用されるデータ ウェアハウス データベースに一部のデータを移動する必要があります。
本番 DB のスキーマはかなり古いため、DW DB にデータを取得したら、いくつかの追加フィールドが必要になります (たとえば、本番 DB の「date」および「time」整数列から正しい日時列を計算するなど)。 （聞かないでください、古いです。）
これを効率的に行う方法を社内で議論しています。現時点では、基本的に毎晩 DW DB 全体を分解し、prod db から再構築し、データ変換を行うという厄介な SSIS ジョブに実装されています。これはあまりうまくスケーリングしません。
私は、たとえば SQL Server レプリケーションなどの「新しい」テクノロジを使用して、データをより細かく移動することを検討しています。
これについての私の質問は次のとおりです。 -レプリケーションにより、「データの移動」部分は明らかに解決されますが、データ変換部分は解決されません。DW DB で更新トリガーを作成できることはわかっていますが、サブスクリプションで再初期化を行うたびに、すべてのテーブル関連のトリガーが消去されているように見えるため、セットアップが困難です。
ここで正確な答えを探しているわけではありません。これをどの方向に進めるかについてのヒントです。質問が少しぼやけている場合は申し訳ありません。
更新： 以下の良い点をありがとう。これは私たちが顧客に販売しているソフトウェアなので、顧客がセットアップして維持する「構成項目」をできるだけ少なくすることを強く望んでいます。現在の SSIS パッケージは、顧客がそのスケジュールと共に監視するもう 1 つの「項目」です。
データを移動するときの CRUD の「ジレンマ」全体を完全に抽象化するため、レプリケーションに興味をそそられました。
データは非常に大きい可能性があるため、今日のようにすべてを消去して再インポートすることは、明らかに対処が必要な問題です。