遅いWebサイトをクロールすると、常にエラーが発生します：TCP接続がタイムアウトしました：10060。これは、クローラーがサーバーとのTCP接続を確立しようとし、デフォルトの接続タイムアウトが低すぎる場合に発生する可能性があります。
ダウンロードタイムアウトをスクレイプで設定できることは知っていますが、接続タイムアウトを設定する方法が見つかりませんでした。誰かアイデアはありますか？ありがとう！
質問する
10465 次
1 に答える
6
DOWNLOAD_TIMEOUT は、scrapy プロジェクトの settings.py で設定できます
http://doc.scrapy.org/en/latest/topics/settings.html#download-timeout
于 2013-06-14T08:14:41.030 に答える