OLAP は初めてです。
テーブル構造と ETL プロセスを理解しています。
ファクト テーブルからデータを削除するタイミングがわかりません。イベントのレポート アプリケーションを作成しているとします。各イベントには、完了までにかかった時間、終了コード、および読み取られた合計バイト数があります。時間や場所など、いくつかの次元があります。
毎日 100 万件の新しいレコードがファクト テーブルに用意されているとします。合計で 1 GB になります。ETL プロセスがファクト テーブルにデータを追加するだけの場合、そのテーブルは無限に大きくなります。いつファクト テーブルからデータを削除する必要がありますか? データをいくつかのファクト テーブル (月ごとのテーブルなど) に分割する必要がありますか?
経験則はありますか？
ありがとう
一度もない。パーティショニングを使用して、古いレコードを処理し、パーティションを別のドライブに移動できます。ファクト テーブルを日付 (月、四半期、年) でパーティション分割すると、ほとんどの場合、ほとんどの場合、いくつかの最新のパーティションにアクセスすることになります。
DW は IT ではなくビジネス ユーザーに属することに注意してください。ビジネス アナリストが聞きたがる可能性のある質問を制限しないでください (想定しようとしないでください)。DW に問い合わせてください。
履歴は決して削除してはなりません。
限目。
ただし、1 日あたり 1Gb が 3 年ごとに 1Tb になるのではないかと心配する人もいます。これが実際に問題になることはめったにありませんが、一部の人々は依然としてストレージの価格について心配しています.
データ パージの設計に費やす時間は、節約しようとしているストレージよりも高くつく可能性があります。
[3 人の DBA と 2 人のプログラマーが数百 MB を節約する方法を議論しているのを見つけました。私は、それらすべてを Best Buy に持って行き、500Mb ディスク ドライブを購入し、車の床に予備の小銭を置いておくと言いました。5 人のコンサルタントが部屋に入って議論しただけの価格は、彼らが「節約」しようとしていたストレージの価格をすでに超えていました。]
「要約できますか？」という質問。完全にユーザー次第です。便利に要約できない場合もあるため、簡単に削除することもできません。
一部の人々は、ビジネス サイクルは 20 年程度であり、最初の 20 年 (7Tb) の詳細を知り、それより前の期間の概要を知りたいと言うでしょう。