python-2.7 - チェック500エラーをバイパスする

Question

Scrapy フレームワークを使用してデータをクロールします。500 エラーが発生すると、クローラーが中断されます。そのため、Web コンテンツを解析する前に、利用可能なリンクを確認する必要があります。
私の問題を解決する方法はありますか?
どうもありがとう。

Answer 1

URL が存在する場合は、urllib の getcode() メソッドを使用して確認できます。

import urllib
import sys

webFile = urllib.urlopen('http://www.some.url/some/file')
returnCode = webFile.getCode()

if returnCode == 500:
  sys.exit()

# in other case do something.