現在、Scrapy を使用して、http プロキシ経由で 1 つのサイトをクロールしています。http://mahmoud.abdel-fattah.net/2012/04/07/using-scrapy-with-proxies/の指示に従いました。しかし、スパイダーを実行すると、次のエラーが発生しました。
エラー: http://xxx.xxx.xxxのダウンロード中にエラーが発生しました: gizpped ファイルではありません。
次に、setting.py の DOWNLOADER_MIDDLEWARES に次のステートメントを追加しました。
「scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware」: なし
この後、デバッグ情報は Web ページを正しくクロールしたことを示していましたが、ページを処理しているときに次のエラーが発生しました。
「応答」オブジェクトには属性「エンコーディング」がありません
この問題を解決する方法を教えてください。よろしくお願いします。