ローカルマシンでは、Webサーバー上のテーブルのミラーレプリカであるいくつかのInnoDBテーブルを維持しています。新しいデータまたは更新されたデータがある場合は常に、ローカルテーブルでそれを実行します。更新の場合、通常、一部のテーブルのいくつかのフィールドのみが対象です。ローカルで行うと、ステージングの前にデータの処理と検証を実行するのに役立ちます。最後に、これらの差分データをリモートサーバーに移動します。
このデータ移行プロセス全体をどのように最適に達成できますか。私があなたのインプット/経験を探しているいくつかの段階があります：
- すべてのテーブルから差分データを識別してフェッチするコマンド、
- リモートサイトで、このデータでそれぞれのテーブルを更新するコマンド、
- 更新のアトミック性を確保して、更新で作成されたWebページコンテンツの整合性を損なわないようにするにはどうすればよいですか。
このプロセス全体を自動化することを計画しています。将来的には、そのような更新が数千回行われる可能性があるため、この時間とサイズを最適化してもらいたいと思います。
私はPythonを使用しており、ファブリックを使用してコマンドを実行する予定です。