python - ファイルの部分ダウンロード (変更点のみ)

Question

オンラインのtxtファイルから情報を取得するためにURLフェッチを行います。これは、常に自動的に変更される大きなファイル (2Mb など) です。

しばらくデータを保持するために Google App Engine の memcache を使用しています。しかし、新しいリクエストごとに受信帯域幅が増加し、割り当て超過エラーが発生し始めました。

すべてのファイルではなく、変更されたものだけをダウンロードして、このファイルを部分的にダウンロードする方法が必要です。

何か案は？:)

Answer 1

ファイルのどの部分が変更されたかを知っている場合のみ。

たとえば、ファイルが追加されるだけであることがわかっている場合は、HTTP Range リクエストを使用して、ファイルの末尾のみをリクエストできます。

ファイルがどこで変更されたかを知る方法がない場合は、サーバーが以前のバージョンへのパッチまたはデルタを送信した場合にのみ機能します。