database-design - スクリーンスクレイピングデータを保存する正しい方法は何ですか?

Question

私はウェブサイトで働いています。さまざまな Web サイトから製品の詳細 (名前、機能、価格など) を収集し、処理して表示しています。毎日更新スクリプトを実行して、データを最新に保つことを検討しています。

1. スクレイピングデータ
2. それらを処理する
3. データベースに保存
4. （データベースから）読み取り、それらを表示します

私はすでにすべてのデータをSQLスキーマに保存していますが、よくわかりません。更新のたびに、古い記録はすべて消えています。スクレイピングされた新しいデータが何らかの形で破損した場合、表示するものは何もありません。

では、古いデータをアーカイブする一般的な方法はありますか? SQLスキーマとxmlファイルを分離するのはどちらが便利ですか? または、他の何か？

Answer 1

データを MySQL データベースに入れることを強くお勧めします。それを安全に行う方法についてはたくさんの例があり、過去のスクレイピングからデータを制御し、最新のデータを追加と同時に表示することができます.

ソースに移動します: http://php.about.com/od/security/Security_for_PHP_and_MySQL.htm