SQL Server を使用するアプリケーションがあり、定期的にソース システムのデータで更新する必要があります。ソース システムには何百万ものレコードがあり、30 分ごとに更新しています。現在、データをインポートして最新の状態に保つために openquery とカーソルを使用しています。ただし、このアプローチは時間がかかり、あまり信頼性がないようです。
使用できる他のオプションを知っている人はいますか?
また、一部のソース テーブルには、最終更新日時などのフックがあり、最終更新以降のデータの小さなチャンクを取得するために使用できます。しかし、そのフィールドが毎回更新されるとは限らず、すべてのテーブルがそうであるとは限らないため、信頼性も高くありません。ですから、このようなフックのないものを扱うのは本当に面倒です。
とにかく、Hadoop、MapReduce などのビッグデータ ソリューションを使用できると思いますか? これらについての私の印象は、レガシー データの保存とフェッチ、および/またはファイルを扱うときのようなより大きなデータのフェッチに役立つということでした。テーブルデータをインポートするだけで、それらがどのように機能するかわかりません。
どんな提案でも大歓迎です。