1

クレデンシャルを使用して学校のWebサイトにログインし、サイトの特定の部分をクロールするWebクローラーを作成しようとしています。私はここにあるBeautifulSoupPythonライブラリを使用しています：

http://www.crummy.com/software/BeautifulSoup/bs4/doc/

ユーザー名とパスワードのフィールドの正しいソースコードを取得できますが、それらを提供する方法がわかりません。また、提出に関しても同じ問題があります。「送信」ボタンのソースコードを削りましたが、ログインをリクエストする方法がわかりません。

ありがとう、

4

1 に答える 1

5

ブラウザをエミュレートするライブラリであるMechanizeを使用するか、POST/GETリクエストを手動で送信することができます。

Mechanizeのホームページには、試してみることができる完全な例があります。

手動リクエストを使用する場合は、通常、ChromeのJSコンソールを開き、フォームをシリアル化して、送信されるパラメーターを確認します。

> $('form#search').serialize()
"q="

次に、POSTこれらのパラメータを使用してそのURLにリクエストを送信します。

import requests  # Install `requests` if you want to use my example code

session = requests.session()  # So your cookies persist across requests
response = session.post('your_url', data={
    'q': 'search string'
}).text
于 2013-01-08T23:29:22.217 に答える