複数のサーバー (40 以上) を使用して、1 つの同じ URL を同時にスクレイピングし (レガシーを最小限に抑えるため)、データをデータベース (MySQL) に保存する場合があります。
そして問題は、データが前後に切り替わることです。たとえば、クローラー/データベースのレガシーにより、コンテンツは数秒で A <-> B <-> A <-> B <-> A になります。
それを防ぐ良い方法はありますか？Perl でクローラーを作成していますが、背後にあるアイデアを借りることができるので、どの言語でも問題ありません。
ヒントをいただければ幸いです。レディス？ゼロMQ?
ありがとう