大きなファイルをダウンロードするには、Python で HTTP リクエストを作成する必要がありますが、次の疑似コードのように、ファイルのようなポインターを使用して応答のチャンクを読み取ることができる必要があります。
request = HTTPRequest(GET, "http://localhost/bigfile.bin")
request.send()
response = request.get_response()
print "File is {} bytes long.".format(response.content_length)
while True:
chunk = response.read(1024)
print "Chunk Length: {}".format(len(chunk))
このようなAPIはありますか?メソッドが呼び出されるたびにソースから読み取りたいだけで、必要になるread
まで応答から (ヘッダーを除く) 何もメモリに取り込まないでください。