私は現在、XMLフィードをスクレイピングし、djangoモデルを使用してpostgresデータベースに情報を保存するスクレイピースパイダーを持っています。
これはすべて完全に機能し、必要な正確な情報を取得します。問題は、新しい情報、変更された情報、または存在しない情報を削除して、データベースを毎日 1 回更新する必要があることです。
したがって、基本的にスパイダーを実行するときに、データベースに既に存在するかどうかを確認し、まったく同じ情報である場合は無視し、情報が変更された場合はそれを変更するか、存在しない場合は情報を削除します。
私はこれを行う方法を理解できないようです。どんなアイデアでも大歓迎です。
ブライアン