外部ホストを使用して MySQL Community Server 5.1.32 から VPN 経由で内部 SQL Server 05 Enterprise マシンにデータをバッチ処理するメカニズムに関するフィードバックを探しています。外部ボックスは、営業時間中 (1 日あたり約 100Mb) のデータを蓄積し、BI 作業を行う前に、WAN 接続を介して国際的に転送する必要があります (品質はまだ決定されていませんが、超高速にはなりません)。行った。これは、毎晩進行中の変更セットであるべきです。
私は、人々が以前に同様のシナリオで成功裏に使用した ETL メカニズムについての考えに興味があります。SSIS は有力な候補のようです。このシナリオの適合性について誰かコメントできますか? あるいは、コストを意識した方法でこれを行う方法についての他の考えが最も高く評価されます. ありがとう！
これは、外部マシンから受信したデータの用途によって異なります。
翌朝の計算用のデータが必要な場合、またはネットワークに自信がない場合は、2つのシステムを緩く結合し、それらの間でメッセージキューを有効にして、夜間に何かが失敗した場合にDB、ネットワークリンク、回復するのが面倒なことは何でも、毎朝いくつかのデータから始めることができます。
データ検索が高度な重要度の影響を受けない場合は、どのソリューションも適切です:)
SSISに関しては、これは優れたETLフレームワークです（はい、微妙な点があります:)）。しかし、私はそれをデータ転送の一部としてではなく、データが受信されたとき、またはメッセージキューイングシステムでまだ待機しているときのETL部分として見ています。
まず、これを行う場合は、前回からの変更点を簡単に確認できる方法を用意してください。すべてのフィールドには、レコードが更新されたときに変更される最終更新日またはタイムスタンプが必要です (mysql にこれがあるかどうかはわかりません)。これは、すべてのフィールドを比較するよりもはるかに優れています。
両方の場所に SQL Server がある場合、レプリケーションをお勧めします。mySQL の代わりに SQL Server を使用することは可能ですか? そうでない場合は、SSIS が最善の策です。
実際に MySQL から SQL Server にデータを取得するという点では、SSIS を使用して、さまざまな方法でデータをインポートできます。1 つは、(OLEDB 接続などを介して) MySQL ソースに直接接続するか、MySQL からフラット ファイルに毎日エクスポートし、FTP タスクを使用してこれを取得することです。データを取得したら、SSIS は、処理されたデータを SQL Server に読み込む前に、必要な変換を実行できます。