python - Google App Engine で 1MB 以上を fetch() するにはどうすればよいですか?

Question

Google App Engine はurlfetch.fetch()、応答を1MBに制限しています。これの回避策はありますか（有料版に切り替えるかもしれません）？

私は Python を使用していますが、素晴らしい例を提供できれば幸いです。

Answer 1

真新しいSDK 1.4.0では、32MByte をダウンロードできます。ただし、まだ 10 秒の期限制限があることに注意してください ;-) . 期限は、リクエスト ハンドラーの場合は最大 60 秒、タスク キューおよび cron ジョブ ハンドラーの場合は最大 10 分です。

URLFetch で許可される応答サイズが最大 32 MB に増加しました。リクエスト サイズは引き続き 1 MB に制限されています。

Answer 2

いいえ、URL 取得ごとに 1 MB を超えるデータを取得することはできません (課金を有効にしている場合でも)。Rangeただし、ヘッダーを使用してターゲット URL の一部をフェッチし、これらの部分を結合できる場合があります。各 1MB チャンクを同時にフェッチできるため (非同期フェッチを使用)、これはさらに高速になる可能性があります。