3つの異なるサーバーからのデータを組み合わせてjsonを作成し、それをユーザーに表示するレポートがいくつかあります。何千ものレコードがある場合、Webで処理することは不可能であり、タイムアウトになります。現在、ユーザーリクエストをキューに入れ、jsonファイルを生成し、リンクをセディングしているため、ユーザーがリンクを開くと、処理ではなくデータのみが表示されます。
最近NoSqlに出くわしました。私の特定のケースでは、クエリを実行できることとは別に、データをファイルに保存するよりもNoSqlを使用することの利点はありますか？
何千ものレコードが集計された結果がある場合、ほとんどすべてのユースケースでSQLまたはNoSQLを使用してそれらを処理できるはずです。
NoSQLは、SQLを高速化するだけの特効薬ではなく、独自の長所と短所を持つ別の種類のデータストレージソリューションです。
数千のデータレコードを集約するフラットファイル、SQL、NoSQLのいずれが最適かは、快適ゾーンとクエリ要件に大きく依存します。パフォーマンスの観点からは、すべてがそのサイズのデータセットでうまく機能します。現在のファイルを管理するために些細なロジック以上のものを書いていることに気付いた場合は、それぞれの快適さのレベルに基づいてSQLまたはNoSQLのいずれかを使用してください。
レポートを作成している場合、おそらく答えは「いいえ」です。SQL は基本的にトランザクションおよびレポート環境であり、NoSQL ソリューションをプライマリ ストレージとして使用する場合、これらの両方を大幅に放棄することを理解する必要があります。これは、最も印象的な NoSQL デプロイメントの多くが、これらのエンジンを従来の RDBMS の代替ではなく、付属物として使用する理由でもあります。
この場合の私の提案は、より多くの SQL を使用し、サーバーを接続して、これを単一の SQL クエリとして実行できるようにすることです。使用している RDBMS がわからないため、詳細を提供することはできませんが、PostgreSQL では、外部データ ラッパーを実行し、これらを使用して他の 3 つのサーバーからデータをクエリできます。はい、これらを介して PostgreSQL 以外のサーバーにアクセスできます.....
私の推測では、数千行しかない場合の問題は、データベース側でより効率的なクライアントプログラミングを行っていることです。