sockets - ネットワーク経由で大きなファイルを継続的に送信する

Question

非常に大きなファイル（数Tb）を複数の宛先に同時に送信し続ける（つまり、新しいデータが利用可能になると送信される）ソフトウェアを作成する必要があります。一部の宛先にはソースへの専用ファイバー接続がありますが、そうでないものもあります。

いくつかの疑問が生じます：

• このタスクにはTCPソケットを使用する予定です。ネットワークの停止と接続の切断を処理するために、どのフェイルオーバー手順をお勧めしますか？
• アップロードが完了するとどうなりますか：サーバーはソケットを閉じる必要がありますか？もしそうなら、別のデーモンに別のポートでファイルチェックサムを提供させるのは良い設計上の決定ですか？
• 破損したファイルを再度ダウンロードする以外に、それらを処理する方法をお勧めしますか？おそらく、それらを10Mbのチャンクに分割し、各チャンクのチェックサムを個別に計算できますか？

ありがとう。

Answer 1

答えが出ていないので、私はここで私たち自身の決定を共有しています：

• チャンクとファイル全体のチェックサムを提供するための別個のデーモンがあります。
• 今のところ、VPN経由のマルチキャストを使用するという考えを放棄することにしました。マルチプロセスサーバーを使用してファイルを配布します。ファイルのダウンロードが完了するとすぐにソケットが閉じられ、ワーカープロセスが終了します。破損したチャンクは個別にダウンロードする必要があります。
• ファイルシステムモニターを使用して、新しいデータがTier1配布サーバーに到着するとすぐにキャプチャします。