sql - データを前処理する最速の方法は何ですか?

Question

Highstockを使用してグラフとチャートを作成する予定の大量の株式データを含む SQL テーブルがあります。また、AJAX を使用してグラフにデータを追加できるようにする必要もあります。

もともとJSONを使おうと思っていたのですが、Highstockがデータベースからの前処理に対応していることがわかりました。データを JSON または CSV 形式にするには、データベースからクエリを実行し、PHP/Javascript を使用してデータを解析する必要がありますが、これは冗長な場合があります。

データを前処理する最も効率的で最適化された方法は何でしょうか? これは一般的な質問かもしれませんが、私の場合は Highstock を使用しています。

また、SQL ではなく JSON や CSV などのデータ形式を使用すると、オンザフライでデータを解析する方が高速になるのではないかと考えています。チャートが 1000 ポイントのチャートでビューに読み込まれるシナリオを考えてみますが、チャートのサイズを変更して最大 100000 ポイントまで表示できます。AJAX を使用して SQL をクエリするよりも、JSON や CSV からデータを読み取る方が速いと思いますが、それでよろしいでしょうか?

Answer 1

データベースからのデータの前処理へのリンクは非常に簡単に思えます。たぶん、あなたのデータがDBにどのようにあるかを理解していません。データを Highcharts に送信する前に、集計やその他の重い処理を行う必要がありますか?

この場合、すべての計算が実行される要約テーブルを作成することができます。次に、単純なクエリです。グラフは、DB またはサービス層が作業を実行するのを待つよりもはるかに速く表示されます。

パフォーマンスをさらに高速化するために、事前計算されたデータをMemSQLなどのメモリ内データベースに格納できます。DB と Web サーバー間のネットワーク トラフィックを待つ必要はありません。