従属ジョブの通常の大きなセットがあり、それらを PBS クラスター環境で効果的に実行したいと考えています。私は Ruffus を使用しており、かなり満足していますが、他のアプローチも少し試してみたいと思っています。
Python で興味深いのは jug です。ただし、ジャグは、ジョブの要件が均一であると想定しているようです。8GB RAM を必要とするジョブもあれば、100MB しか必要としないジョブもあります。すべてのプロセッサを消費できるものもあれば、シングルスレッドのものもあります。パイプラインをすばやく組み立てて実行し、依存関係に基づいて「更新」し、適切にログを記録して、まだ実行する必要があるジョブを確認できるようにすることを目指しています。これらのタイプの要件でジャグまたは他の同様のシステムを使用している人はいますか?