python - 巨大な可能性のあるテキストファイルをPythonのプレーンなWSGIサーバーにアップロードする

Question

サーバーで使用可能なすべてのメモリを消費することなく、潜在的に巨大なプレーンテキストファイルを非常に単純なwsgi-appにアップロードする必要があります。どうすればそれを達成できますか？標準のPythonモジュールを使用し、可能であればサードパーティのモジュールを避けたいです。

Answer 1

wsgi.input は、ストリーム オブジェクトのようなファイルである必要があります。そこからブロック単位で読み取り、それらのブロックをディスクに直接書き込むことができます。それは重要なメモリを使い果たすべきではありません。

それとも、質問を誤解したのでしょうか？

Answer 2

cgi モジュールを使用して入力を解析する場合 (Pylons、WebOb、CherryPy など、ほとんどのフレームワークで使用されます)、アップロードされたファイルは一時ファイルに自動的に保存され、メモリには読み込まれません。

Answer 3

Pythonは gzip および zip ファイルの処理方法を知っていますか?クライアントでファイルを圧縮し (zip または 7-zip などの gzip 準拠のアプリケーションを使用)、サーバーにアップロードすることをお勧めします。

さらに良いことに、ファイルを自動的に圧縮してアップロードするスクリプトを作成します。これは標準ライブラリで可能です。