0

分散コンピューティングの経験はあまりありませんが、Python内でスクリプトを作成して、解凍ジョブをx台のサーバーに集中的に分散し、ファイル共有で解凍ジョブを分散する複数のサーバーに定期的にログインする手間を省きたいです。

この種のタスクに最適なツールは何ですか。将来はHadoopで遊んでみたかったのですが、十分な知識がなく、おそらくこの作業に適したツールではないと考えています。zeromqをほのめかす同様の投稿をいくつか見ました。このような仕事に本当に最適なツールについてのアドバイスを探すだけです。

4

1 に答える 1

0

ファイルを解凍するときは、通常、CPUではなくI/Oバウンドが問題になります。したがって、複数のサーバーにログオンして同じ共有上のファイルを解凍すると、その共有をホストしている(ファイル)サーバーのネットワーク接続が接続されます。

一方、同じファイルを別のサーバーで解凍しようとしている場合は、Pythonはまったく必要ありません。psshコマンドとその親戚をチェックしてください。

于 2013-03-21T16:14:09.160 に答える