先日、ネットワーク上で大量のデータをアーカイブする必要がありましたが、複数のマシンの能力を利用してプロセスをスピードアップするための即時の方法がないことに不満を感じていました。
分散ジョブ管理システムを作成することは、コマンドライン アーカイブ ツールから飛躍することだと理解しています。
この種の分散パフォーマンス シナリオに対する最も単純なソリューションは何かを考えています。カスタム ツールは常に必要ですか、それとも標準のユーティリティを使用して負荷をより高いレベルで透過的に分散する方法はありますか?
提案をありがとう。
これに取り組む 1 つの方法は、ネットワーク化されたハードウェア全体でスクリプトを実行するために分散 make システムを使用することです。これは (または以前は) GNU Make (の一部の実装) の実験的な機能です。Solaris は、同じ目的で dmake ユーティリティを実装しています。
もう 1 つの、より負荷の高い方法として、Condor を使用してアーカイブ ジョブを分散する方法があります。しかし、年 2 回のアーカイブを実行するためだけに Condor をインストールするのではなく、ネットワーク化されたハードウェアから予備のサイクルを定期的に掃除するためのシステムだと思います。
実際には Python ベースの make の代替である SCons ビルド システムは、ネットワークを介して作業をハンドオフするよう説得される可能性があります。
次に、スクリプトを使用して ssh を実行し、ネットワークに接続された PC でジョブを開始できます。
したがって、並列プログラミングに取り組まなくても、これに取り組む方法がいくつかあります。