3

それ自体にリダイレクトする URL を読み込もうとしています。私はそれがクッキーをロードしてそれを探していると仮定していますが、それを見ることはないので、このリクエストの無限ループがあります。

urllib2、urlfetch、および httplib2 を試しました。どれも機能しません。

私はこれを試しました：

url = "http://www.cafebonappetit.com/menu/your-cafe/collins-cmc/cafes/details/50/collins-bistro"
thing = urllib2.HTTPRedirectHandler()
thing2 = urllib2.HTTPCookieProcessor()
opener = urllib2.build_opener(thing, thing2)
url = 'http://www.nytimes.com/2005/10/26/business/26fed.html?pagewanted=print'
page = opener.open(url)

これはシェルでは機能しますが、Google App Engine では機能しません。urlfetch のドキュメント: http://code.google.com/appengine/docs/python/urlfetch/fetchfunction.html

follow_redirects の下には、「Cookie はリダイレクト時に処理されません。Cookie の処理が必要な場合は、follow_redirects を False に設定し、Cookie とリダイレクトの両方を手動で処理してください。」とあります。

これを行う方法がわかりません。また、ドキュメントにも手がかりがないようです。

私はこの問題を徹底的に調べましたが、私の問題に有効なこのような問題は報告されていません。

4

1 に答える 1

5

もう少し説明。少なくとも Web サイトの動作が説明されていることを嬉しく思います。Cookie が必要であり、Cookie が設定されていない場合は、Cookie 設定ヘッダーを使用してそれ自体にリダイレクトされます。Cookie がどのように機能するかをよく読んでおく必要があります。Web サイトは Set-Cookie ヘッダーを使用して Cookie を送信し、ブラウザーは Cookie ヘッダーで (いくつかのバリエーションを使用して) それをエコー バックする必要があります。Python には、Cookie のコレクションを管理するためのライブラリ cookielib があり、これを支援します。

ネイティブの urlfetch API を使用することをお勧めします。その戻りオブジェクトには、すべてのヘッダー (Set-Cookie ヘッダーなど) を指定する辞書であるヘッダー オブジェクトがあります。特定のヘッダーを送信するには、headers 引数を urlfetch.fetch() 関数に使用します。ここでは Cookie ヘッダーを使用します (ただし、設定する Cookie ヘッダーの形式は、受け取る Set-Cookie ヘッダーの形式と同じではないことに注意してください。ここで cookielib の出番です。

幸運を！

PS。curl -v を使用すると、サイトが実際に 3 つの異なる Set-Cookie ヘッダーを送信していることを簡単に確認できます。おそらく3つすべてに対処する必要があります。

于 2012-02-24T03:32:32.280 に答える