問題タブ [oltp]

データベースで、次のスキーマを使用してツールのリストを管理しています。

各ツールは数秒ごとに測定値を出力します。このスキーマを使用して OLAP ストアに保存します。

(まだ OLAP ストアを選択していませんが、実行するデータ量、セマンティクス、およびクエリの種類から、OLAP ストアが必要であると想定しています)

測定値が 100 を超えるツール名のリストを照会するにはどうすればよいですか? 課題は、OLAP ストアと OLTP ストアの両方のデータを結合する必要があることです。

オプション 1 - 測定ごとにツール名も OLAP に保存します (非正規化)。問題は、測定後にツール名が変更された可能性があり、最新のものを必要とすることです。また、ツールごとにさらに多くの詳細 (および詳細データ) が存在する可能性がありますが、測定ごとにすべてを保存する意味があるかどうかはわかりません。

オプション 2 - OLAP は ID のリストのみを返します。次に、OLTP にクエリを発行して名前を取得します。これには、多くの ID が埋め込まれた SQL クエリが必要であり、正しくないようです。

オプション 3 - すべての OLTP データを数分ごとに OLAP に同期します。しかし、OLAP ツールは更新用に最適化されていないため (Vertica など)、これは効率的ではないようです。

いくつかの質問で混乱しています。彼らの答えが必要です。リレーショナル モデルも非正規化である場合、なぜ次元モデルを好むのでしょうか? リレーショナル モデルよりも次元モデルを好む理由は何ですか? 履歴データも OLTP に保存でき、任意の OLTP でレポートを簡単に実行できます。なぜ次元モデルとデータ ウェアハウスを使用するのでしょうか? ディメンションと非正規化テーブルの違いは何ですか?

前もって感謝します

OLAP データベースは、非正規化形式のデータで構成されています。これはデータの冗長性を意味し、このデータの冗長性により、少ない結合回数でデータを取得できるため、取得が高速になります。

しかし、OLAP データベースの一般的な設計は、ファクト ディメンション モデルです。ファクト テーブルには数値のファクト ベースのエントリ (販売数など) が格納され、ディメンション テーブルにはファクトに関連する「記述属性」、つまり販売先の顧客の詳細が格納されます。

私の質問は、この設計では、すべてのディメンション テーブルにファクト テーブルへの外部キー参照があるため、まったく非正規化されていないように見えるということです。OLTP 設計との違いは何ですか?

mongo db は OLTP または DW 操作に適していますか?

OLTP操作におけるmongodbの応答時間と効率は? Web アプリケーションのバックエンドとして mongodb を使用するのは安全ですか?

mongodb 自体では、map reduce 操作を実行できます。では、hadoop インテグレーターを使用する必要性は何ですか?

BIG DW システムの代替として使用する mongo db の強度を知る必要がありますか?

人々

私は現在、電気通信プロジェクトに取り組んでおり、CDR (通話詳細レコード) ファイルを処理しており、それに基づいてレポートを生成しています。1 日あたりのレコード数は約 400 万レコードで、1 か月あたりの平均レコード数は約 9,000 万レコードです。mysql データベースを使用しています。ストアド プロシージャを実行してレコードを処理します。問題は、クエリの実行に関するパフォーマンスの問題に直面していることです。クエリを処理して結果を取得するのに約 4 分かかります。

サーバーの RAM は 4GB です。

私の懸念は

私たちが使用しているRAMは、この種のプロジェクトには十分です

ここで、深刻な DBA のアドバイスをお願いします。

私はクライアントのアーキテクチャ、特に SQL Server の通常の古いスノーフレーク スキーマである OLAP システムを見直してきました。ファクトとディメンションは、ERP などの他のトランザクション システムから ETL されます。

私が驚いたことの 1 つは、複数の追加の OLTP アプリケーション用に、同じデータベース内に複数のテーブルが追加されたことです。これらのテーブルには、スノーフレーク スキーマのディメンション テーブルへの FK 関係があります。

OLTP システムからのディメンション データへの結合が多いため、パフォーマンスが最適ではありません。

私は OLAP の専門家ではありません。しかし、これは間違っているように感じます。私はいくつかの検索を行いましたが、賛否両論のインターネット上でこれについて多くを見つけることができません. これを行う利点は何ですか？いずれかがあります？潜在的な問題についてはどうですか？

oltpbenchmark ツールの「スケール」パラメータは正確に何をしますか (mysql で実行されている場合の tpcc の場合)? DBのサイズを増やすだけですか？それとも何か他のことをしますか？

( http://oltpbenchmark.com )

ありがとう

照合を持つデータベースで SQL Server 2014 をメモリ テーブルで使用しますがArabic_CI_AS、メモリ テーブルで作成すると、oltp はこの照合をサポートしていないと表示されます。

この問題を解決する方法はありますか?