0

私は Python のリクエスト ライブラリを使用して一連の Web ページをクロールしていますが、クローラーは、PDF やビデオ、その他の巨大なファイルなど、非常に巨大なページに出くわすことがあります。ダウンロードするファイルの最大サイズを制限する良い方法はありますか?

4

1 に答える 1

1

urlopen オブジェクトには、Content-Length を含むあらゆる種類の有用なヘッダー情報を提供するメソッド info() があります。

時折、これは正しく設定されていませんが、ほとんどの場合は設定する必要があり、役立ちます

于 2013-04-09T08:23:03.447 に答える