プロトタイプを作成しているツールの単純なアーキテクチャを試してみようとしています。Web ベースのツール (.NET ベース) は、基本的に複数のパブリック API からデータを要求し、応答データ (JSON または XML) を照合して処理し、集計データをデータベースに保存します。簡単に聞こえるかもしれませんが、このツールは、約 3000 人のユーザーに対して、少なくとも毎日 1 回、このプロセス (要求/処理/保存) を実行する必要があります。スケジュールされたタスク (cron ジョブ) としてプロセスを定期的に実行すると、パフォーマンスが大幅に低下し、サーバー (単一 VPS) のリソース使用量が増加します。
問題は、そのようなツールを高速かつスケーラブルでありながらシンプルで簡単に実装できるようにするために、どのような種類のアーキテクチャまたはフレームワークを利用できるかということです。
どんなアイデアや考えでも大歓迎です。
乾杯。