Python を使用して、 this oneおよびthis oneのような何千ものページをスクレイピングし、すべてのデータを収集して MySQL データベースに挿入するアルゴリズムを設計したいと思います。スクリプトは毎週または隔週で実行され、個々のページに追加された新しい情報のデータベースを更新します。
理想的には、テーブル構造のデータだけでなく、一意の識別子 (つまり、id および classes 属性) を持たないデータでも簡単に操作できるスクレーパーが必要です。
どのスクレーパー アドオンを使用すればよいですか? BeautifulSoup、Scrapy、またはMechanize ?
この望ましい結果を得るために私が見なければならない特定のチュートリアル/本はありますか?
長期的には、データベースのクエリを通じてこのすべてのデータを操作するモバイル アプリを実装する予定です。