python - Pythonでページ上のボタンを使用する

Question

一部のデータのページをスクレイピングしていますが、テキスト ボックスにテキストを挿入し、フォームを送信して結果ページをスクレイピングする必要があります。ページのソースを見ましたが、ボタンをアクティブにする方法やボタンの引数を渡す方法がわかりません。

Web サイトはhttp://archive.org/web/web.php です。いくつかの歴史を調べようとしていますが、これに何を使用すればよいかわかりません。あらゆるソリューションに対応

Answer 1

まず、そのボタンをクリックすると、通常、いくつかのURLにPOSTが実行され、その形式でデータが渡されることを知っておく必要があります。

<form id="wwmform" name="wwmform" method="get" action="http://web.archive.org/form-submit.jsp" onsubmit="document.location.href='http://web.archive.org/web/*/'+document.getElementById('wwmurl').value;return false;" style="display:inline;">
      <input id="wwmurl" type="text" name="url" size="50" value="http://">
      <button type="submit" name="type" value="urlquery" class="roundbox5">Take Me Back</button>
    </form>

アクション属性が表示されますか？それがデータの行き先です。

したがって、Pythonでは、データをエンコードしてターゲットURLに投稿し、結果をフェッチする必要がある場合がありますurllib。urllib2

ps：気をつけてonsubmit