python - urllib2 を使用してあるページから別のページに移動する

Question

私はプログラムを書いていて、コンピューターで行うように、あるページから別のページに移動する必要があります。

urllib では、ページに移動してそのページのソースから URL を取得し、その URL を取得してそのページに移動しますが、urllib が開始されていないため、間違ったページから来たというエラーがサイトから表示されますページに移動して別のページに移動すると、代わりに新しいページが開きます。. ここにいくつかのサンプルコードがあります:

tree = self.opener.open('http://www.example.com').read()
#Beautiful soup parsing to get the new _url
new_page = self.opener.open('http://www.example/new_url.com').read()
print new_page #Output is error page

前のページから来たとサイトが判断するようにするにはどうすればよいですか?

ありがとうございました

Answer 1

あなたがアクセスしようとしているサイトにこの種の感性がある場合、「urllib2」のみを使用してアクセスしようとすると、非常に低レベルの http へのアクセスしか提供されないため、多くの問題が発生します。どこから来たのかを示す HTTP ヘッダーをプログラムでエミュレートし、最初のアクセスで取得した可能性のある Cookie を再生します。

これらのタスクをはるかに簡単にするサードパーティの Python モジュールがあり、代わりに " requests " ライブラリを訴えるか、少なくとも " mechanize " することをお勧めします。これらを使用しなくても、求めていることがデフォルトで達成される可能性がありますが、選択したプロジェクトのドキュメントとサンプルに従ってください。はるかに簡単になるはずです。