java - Javaを使用して50GB以上のファイルをアップロードする方法

Question

>=50GB のファイルをサーバー (おそらくファイル システム) にアップロードする必要があります。これを達成するために、ファイルをチャンクに分割し、アップロード後にそれらをマージできます。これは、長いグーグル検索の後に思いついたものです。

このような大きなファイルをアップロードする最善の方法はありますか? （パフォーマンスの問題に留意してください）。

Answer 1

FTPプロトコルを使用すると、次のような利点しか得られない場合があります。

-それは標準的なものです

-Javaにはたくさんのライブラリがあると確信しています（私の答えは.NETに存在するものに基づいています）

-転送が中断された場合に転送を再開できる「追加」メソッドがあります（最初に部分的にアップロードされたファイルのサイズを確認してから、欠落している部分を完了するために読み取りを再開する場所を知ることができます）

Answer 2

考慮すべきいくつかのオプションを次に示します。

• HTTP は、アップロードとダウンロードにおそらく最も一般的に使用されるプロトコルです。

• FTP は少し高速になる可能性がありますが、これはプロトコルよりも Web サーバーの設計を反映したものです。

• 明示的な圧縮により、アップロード時間が改善される場合があります。

• さまざまな方法でより高速なデータ転送を提供する、あまり知られていないプロトコルとフレームワークがいくつかあります。 このページでは、4 つのオープン ソースの代替案について説明します。

• 「高速」ファイル転送用の商用ツールは多数あります。

ただし、次の点に注意してください。

1. 「より速い」メカニズムは、ネットワーク帯域幅を独占することによって速度を達成する傾向があります。つまり、彼らは通常、ネットワークの世界では「善良な市民」ではありません。
2. 通常、アップロード時間に上限を設定するネットワーク通信パスにはボトルネックがあります。人々のホーム システムからのアップロードについて話している場合、ボトルネックはユーザーの ISP リンクでのデータのアップロード速度である可能性が高く、これは通常、データのダウンロード速度よりもはるかに低速です。