本番環境で大量の小規模/単純な REST Web クエリを実行するための、ある種の分散セットアップを作成したいと考えています。ノードから実行される 5 ～ 10 個の関連するクエリごとに、標準のリレーショナル データベース (PostgreSQL など) に格納する必要がある非常に少量の派生データを生成します。
この種の問題セット用に構築されたプラットフォームは何ですか? その性質、データのサイズ、および量は、Hadoop の考え方と矛盾しているように見えます。また、Condor や Sun Grid Engine など、グリッド ベースのアーキテクチャもいくつかあります。ただし、これらのプラットフォームにエラーからの回復があるかどうかはわかりません (ジョブが成功するかどうかを確認しています)。
私が本当に欲しいのは、データベースの最終結果が更新される、ジョブを追加できる FIFO タイプのキューです。
仕事に最適なツールに関する提案はありますか?