2

を使用してトラバースしたいネットワークストレージデバイスでホストされている大きなディレクトリ構造がありますos.walk。システムはかなり遅いですが、同時に複数のディレクトリにクエリを実行できれば(すべて同じ共通ルートで)、プロセスをより速く実行できると思います。最後まですべてを解析している限り、出力がどのような順序で入力されるかは関係ありません。

os.walk新しいディレクトリをスレッド化されたワーカーのプールに渡すために再実装することを考えています。他の誰かのコードがすでに存在する場合は(なぜ車輪の再発明をするのですか?)、私はむしろ他の誰かのコードを使用したいのですが、何も遭遇していません。

確かにこれは一般的なタスクですか?誰かが以前にこのようなものに出くわしたことがありますか?多分私は何かが欠けていて、それはスピードアップにはならないでしょう。

1週間ほどで回答が得られない場合は、間違いなくここに投稿します。

4

1 に答える 1

1

分散ジョブ実行システムが必要なようです。私はしばらくGearmanを使用してきましたが、素晴らしいフレームワークであることがわかりました。基本的な Thread モジュールから始めたくない場合は、Gearman をお勧めします。Python で記述されたクライアントとワーカーをサポートしているため、ニーズに合うかもしれません。しかし、あなたはまだ部門の仕事をする必要があるかもしれません.

于 2013-03-20T11:31:27.037 に答える