HTTP 上で動作し、ファイル チャンク (通常は 10MB) を受け取り、それらをチャンクとしてリモート ファイル システムに保存するサービスがあります。これらのチャンクを組み合わせると、完全なファイルが作成されます。
チャンクからファイルに関するメタデータを生成したいと思います。具体的には、ファイルの合計サイズと MD5 チェックサムを生成したいと思います。
最終ファイルは比較的大きくなる可能性があります (500 MB 以上)。チェックサムを分散して繰り返し生成する方法はありますか? たとえば、2 つのサーバー間で要求を分散するロード バランサーの背後で、このサービスを実行する 2 つの Web サーバーがあるとします。共有 Redis サーバーのようなものを使用して、オンザフライで完全なファイルの MD5 チェックサムを生成することは可能ですか?
チャンクをディスクにローカルにキャッシュしたり、完全にアップロードされた後に実際のファイルの内容をリモート データ ストアに照会したりしないようにしています。