0

URL を読み込もうとすると、次のエラーが発生します。

DownloadError: ApplicationError: 2 繰り返されるリダイレクトが多すぎます

これは私が使用しているコードです:

  headers = { 'User-Agent' : 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; de-at) AppleWebKit/533.21.1 (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1' }    
  url = "http://www.cafebonappetit.com/menu/your-cafe/collins-cmc/cafes/details/50/collins-bistro"
  cmcHTM = urlfetch.fetch(url=url)
  cmcHTML = str(cmcHTM.content)

http://www.internetofficer.com/seo-tool/redirect-check/でこの Web サイトのリダイレクトを確認した ところ、このサイトがそれ自体にリダイレクトされていることがわかりました。そのため、このページを読み込もうとして、URL フェッチが循環しているようです。その間、このページはブラウザで問題なく読み込まれます。

だから私はこのコードを使用してみました：

  cmcHTM = urlfetch.fetch(url=url,
    follow_redirects=False,
    deadline=100
    )

ただし、これは何も返しません。このhtmlを取得する方法はありますか?!

4

2 に答える 2

3

返信が遅くなり申し訳ありません。これが機能することがわかりました：

import urllib, urllib2, Cookie
from google.appengine.api import urlfetch

class URLOpener:
  def __init__(self):
      self.cookie = Cookie.SimpleCookie()

  def open(self, url, data = None):
      if data is None:
          method = urlfetch.GET
      else:
          method = urlfetch.POST

      while url is not None:
          response = urlfetch.fetch(url=url,
                          payload=data,
                          method=method,
                          headers=self._getHeaders(self.cookie),
                          allow_truncated=False,
                          follow_redirects=False,
                          deadline=10
                          )
          data = None # Next request will be a get, so no need to send the data again. 
          method = urlfetch.GET
          self.cookie.load(response.headers.get('set-cookie', '')) # Load the cookies from the response
          url = response.headers.get('location')

      return response

  def _getHeaders(self, cookie):
      headers = {
                 'Host' : 'www.google.com',
                 'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 (.NET CLR 3.5.30729)',
                 'Cookie' : self._makeCookieHeader(cookie)
                  }
      return headers

  def _makeCookieHeader(self, cookie):
      cookieHeader = ""
      for value in cookie.values():
          cookieHeader += "%s=%s; " % (value.key, value.value)
      return cookieHeader

キーはwhileループだと思います-リターンヘッダーに基づいてリダイレクトをたどります...

于 2013-01-04T20:11:14.683 に答える
1

これはコードの問題ではなく、サイトの問題だと思います。このサイトは、通常ブラウザから送信されるヘッダーが検出されない場合、サイト自体にリダイレクトするように設計されているようです。たとえば、curl でアクセスしようとすると、それ自体に 302 リダイレクトされた空の本文が表示されますが、ブラウザーではページが表示されます。サイトの所有者に、何をチェックしているのかを尋ねる必要があります...

于 2012-02-22T00:46:41.927 に答える