3

従属ジョブの通常の大きなセットがあり、それらを PBS クラスター環境で効果的に実行したいと考えています。私は Ruffus を使用しており、かなり満足していますが、他のアプローチも少し試してみたいと思っています。

Python で興味深いのは jug です。ただし、ジャグは、ジョブの要件が均一であると想定しているようです。8GB RAM を必要とするジョブもあれば、100MB しか必要としないジョブもあります。すべてのプロセッサを消費できるものもあれば、シングルスレッドのものもあります。パイプラインをすばやく組み立てて実行し、依存関係に基づいて「更新」し、適切にログを記録して、まだ実行する必要があるジョブを確認できるようにすることを目指しています。これらのタイプの要件でジャグまたは他の同様のシステムを使用している人はいますか?

4

1 に答える 1

3

水差しの作者はこちら。

Jug は依存関係をうまく処理します。入力または中間ステップのいずれかを変更すると、実行jug statusによって計算の状態がわかります。

現在、一部のタスク (jug がジョブを呼び出すもの) に複数のプロセスを割り当てる必要があることを指定する方法はありません。以前は、複数のスレッドで実行されるタスクがあるときはいつでも、最悪のシナリオのアプローチを取り、すべてのプロセスをそのjug executeプロセスに割り当てることを余儀なくされていました。

もちろん、これはシングルスレッドのタスクがすべてのプロセスを占有することを意味します。計算の大部分はマルチスレッド タスクで行われたため、許容範囲でした。

于 2012-10-08T16:09:50.793 に答える