会社内でファイルのクランチングや計算を行っています。簡単に言えば、10 億を超えるレコードを含む巨大なファイルを読み取り、ファイルを解析し、クレンジングを行い、クレンジングされたデータを別のファイルに書き込むという仕事またはタスクがあります。常に作成、送信、実行されている数百のジョブがあります。各ジョブは独自のファイルを処理するため、同時実行の問題について心配する必要はありません。
これを実現するために、独自のスケジューリング システム (メインフレームと Java の組み合わせ) を構築しました。現在のスループットは、1 時間あたり約 4,000 万レコードです。
これを改善する (そしてより多くのフォールト トレランスを提供する) ことを追求する中で、IBM の LSF を評価して、このスケジューリングとジョブの作成を支援しています。
この問題に対して、LSF を使用するのはやり過ぎかもしれないと感じている人はいますか? AKKA のアクター モデルの実装を使用して同じことを達成し、それを中心に独自のジョブ スケジューラを作成することを考えることができます。
何かご意見は？