8

Web ページからデータをスクレイピングするための BeautifulSoup と urllib2 に精通しています。しかし、スクレイピングしたい結果が返される前にパラメーターをページに入力する必要がある場合はどうすればよいでしょうか?

この Web サイトを使用して、2 つの住所間の地理的距離を取得しようとしています: http://www.freemaptools.com/how-far-is-it-between.htm

ページに移動し、2 つの住所を入力して [表示] をクリックし、[カラスが飛ぶ距離] と [陸上輸送による距離] の値を抽出して辞書に保存できるようにしたいと考えています。

Python を使用して Web ページにデータを入力する方法はありますか?

4

5 に答える 5

6

機械化やスクレイプなどのツールを見てみましょう。

Packt Publishing にも、この問題に関する記事があります。

于 2011-08-13T00:54:39.713 に答える
1

はい！この種の Web スクリーン・スクレイピング・タスクには機械化を試してください。

于 2011-08-13T00:57:14.767 に答える
0

すでに回答が与えられていることに加えて、そのページで簡単にリクエストを行うことができます。ブラウザーを使用すると、ページを操作するときに、ネットワーク ([ツール]/[Web 開発者ツール] の下) の動作とアクションをいつでも調べることができます。例http://www.freemaptools.com/ajax/getaandb.php?a=Florida_Usa&b=New%20York_Usa&c=6052 -> 期待する結果ページを取得するためのクエリをリクエストします。そのページをリクエストし、必要なフィールドをスクレイピングします。私見、ページリクエストはスクリーンスクレイピングよりもはるかに高速です（ケースバイケース）。

もちろん、いつでもスクリーン スクレイピング/ブラウザー シミュレーション (Mechanize、Splinter ) を実行し、ヘッドレス ブラウザー (PhantomJS など) または使用するブラウザーのブラウザー ドライバーを使用できます。

于 2014-08-08T01:17:48.600 に答える
0

クエリが解決された可能性があります。

この目的でSelenium WebDriverを使用できます。Web ページは、プログラミング言語を使用して対話できます。人間のユーザーが Web ページにアクセスしているかのように、すべての操作を実行できます。

于 2017-04-17T09:36:43.450 に答える