私は学術研究で安価な並列処理を実現するために Resque を使用しています。巨大なタスクを比較的小さな独立した部分に分割し、それらを Resque に提出しています。これらのタスクは、データベース (重要な場合は MongoDB) と CPU の両方を広範囲に使用して、いくつかの重い処理を行います。
これはすべて非常に遅く動作します。データセットの比較的小さな部分で 1000 のジョブが作成され、2 人のワーカーが 14 時間連続して作業しても、そのうちの 800 までを完了するのに十分です。すでにお気づきかもしれませんが、この速度はイライラするだけではありません。
私はクアッドコア プロセッサ (ハイエンドではなく Core i5 など) を使用しており、Mongo インスタンスと resque ワーカーを除いて、CPU でかなりの期間スケジュールされません。
私の話を知ったので、私が尋ねているのは、この設定から最大限に引き出すにはどうすればよいかということだけです. 3 つのワーカー + 1 つの mongo インスタンスですべてのコアがすぐにいっぱいになると思いますが、同時に mongo は常に動作する必要はありません。