linux - 少数の Linux コンピューターで大量のリモート ファイルをダウンロードするにはどうすればよいですか?

Question

HTTP でリモート ホストから多数の小さなファイルをダウンロードする必要があり、ダウンロードする URL のリストがあるとします。また、リモート ホストがKローカル ネットワークへの接続のみを許可するとします。私のローカル ネットワークにはM複数のコンピュータがあり、それらのコンピュータ間でファイルを均等に分散したいと考えています。私のコンピュータはすべてLinux. 今、ダウンロードをどのように整理するのだろうか。

ここで、すべてのK接続を処理し、それらすべてのファイルをローカル ファイル システムに格納するには、1 台のコンピューターで十分であると想定しています。したがって、ローカル ホストMにちなんで名付けられたフォルダーにファイルを「ダウンロード」するコンピューターを割り当てます。Mローカル ホストは、これらのフォルダーからファイル システムにファイルをコピー (移動) します。それは理にかなっていますか？それを実装する最も簡単な方法は何ですか?

Answer 1

あなたのアプローチは問題ありませんが、すべてのファイルが同じサイズであり、すべてのコンピューターのパフォーマンスが等しいという前提があります。1 台のコンピューターでファイルの処理が完了し、他のコンピューターがまだ途中である場合はどうなりますか? この場合、プロセッサは利用可能ですが、アイドル状態になります。しかし、これを実装するには、はるかに複雑な分散コンピューティングが必要になるため、これが1回限りのタスクであるか、合計時間がそれほど大きくない場合は、アプローチは問題なく、分散アプローチを評価する必要があると言えます。