分析ソリューション用に高速でデータを取得したいのですが、この問題は次のとおりです。私は 15 分ごとに大量のデータを処理し、非常に膨大な数の異なるディメンションを持つさまざまなキューブ [タプル] を作成しています。詳細には、100 か国 X 10000 州 X 5000 TV チャンネル X 999 プログラム X ... X 15 分時間間隔でデータを分離しています。したがって、15 分ごとにさまざまなタプルが作成されます。現在、Mysql Database と Dump data via file を使用しているため、書き込みがはるかに高速です。また、さまざまな種類のクエリに使用する、15 分、1 時間、1 日、1 週間、1 か月、1 年の粒度集計テーブル用のさまざまなテーブルがあります。しかし、取得には多くの時間がかかります[データベーステーブルで最適なインデックス作成が行われた後でも.]
この問題の解決策を教えてください。可能であれば、NoSql を MySql データベースと区別しますか?
サーバーログとして単純なtxtファイルでデータを取得しています。これは、ロギング機能を使用して Java Web サービス アプリケーションによって生成されます。このように... – Dhimant Jayswal 13 分前 前述したように、これらのログを 15 分ごとに処理し、その間に同じディメンションで集計を行う mysql データベース テーブルに保存することで、さまざまなディメンションを作成しています (たとえば、1 時間4 つの 15 分のディメンションが集計され、より詳細な 1 つのディメンションが作成されます。time=2012-11-16 10:00:00、Country='US'、Location='X のようなディメンション[/Object] を作成しています。 '、His=15 ; もう 1 回 =2012-11-16 10:15:00、Country='US'、Location='X'、His=67)。これらの値はデータベース テーブルに移動します。そのため、いつでも 1 時間、15 分、または 1 日単位でデータを取得できます