web - 入り口に送信フォームがあるウェブページをウェブスクレイプする方法は?

Question

私はこのページをウェブスクレイピングする方法を見つけようとしてきました：sick.com わかり ません。Visual Web Ripper を試してみましたが、Cookie を記憶していないため、送信フォームを通過できません。あなたはなにか考えはありますか？Sick.com は私がデータを抽出することには問題ありませんが、データベースを提供するのが面倒です。

Answer 1

私は Visual Web Ripper にあまり詳しくありませんが、Cookie を追跡する別のツールを選択するだけでよいようです。Scrapy や Mechanize などのオープン ソース ツールが多数あります。screen-scraper を使用しましたが、Cookie を問題なく追跡しています。

そうは言っても、Visual Web Ripper を使用する場合は、検索結果を要求する前に最初の検索ページを要求していることを確認することもできます。つまり、最初のリクエストで Cookie を設定する必要があります。これは、後続のリクエストを行うときに伝播されます。