問題タブ [data-warehouse]

SSAS キューブを文書化するためのテンプレートが必要です。

キューブ情報

• 単一のデータ ソース
• 1 つのメイン ファクト テーブル
• 5 つの直次元
• 2 つの多対多のディメンション
• 48 パーティション、48 アグリゲーション

SSAS キューブのデザイン テンプレートを教えてもらえますか?

通常のファクト テーブルとディメンション テーブルを含む SQL Server 2005 データマート スター スキーマがあります。これは、SSIS ベースの ETL パッケージを介してデプロイおよび設定されます。これまでのところすべて順調です。

顧客から新しい要件について連絡がありました。決して、あなたが言うのを聞きます！この要件は、データ マートに新しいディメンション テーブルを追加して、たまたま財務に関する事実の新しい側面を測定する必要があることを意味します。

この新しいディメンションによってファクトを「スライス」できるようにするには、新しいディメンションにリンクするファクト テーブルに新しい外部キー列を追加する必要があります。

これを行う最善の方法がわかりません。すでにキャプチャされたデータはどうすればよいですか? 新しい列を null 可能にして、古い事実が NULL になることを受け入れるだけですか? 実際、私が入力していると、古い事実も更新できることに気づきました。または、それぞれの新しい (親) ファクトへのリンクと新しいディメンションへのリンクを含む別の (子?) ファクト テーブルを作成する必要があるかもしれません。

この種の変更のベスト プラクティスに関する情報は見つかりませんでした。

どんな助けでも大歓迎です。

ところで。Analysis Services はまだ使用されていません。

ありがとう、マーティン

当社の製品は、約 350 人の候補者を同時にテストします。テストの最後に、各候補者の結果は、インデックスでいっぱいのデータ ウェアハウスに移動されます。テストごとに、約 400 のレコードがデータ ウェアハウスに入力されます。したがって、400 x 350 は多くのレコードです。データ ウェアハウスにあまりレコードがなければ、すべてうまくいきます。しかし、データウェアハウスにすでに多くのレコードがある場合、多くの挿入が失敗します...

一日の終わりにのみ再構築されるインデックスを持つ方法はありますか、それとも本当の問題ではありませんか? または、これをどのように解決しますか？

PowerCenter でデータベース エラーを処理するための汎用マッピングを開発したいと考えています。そのようなマッピングの例を教えてもらえますか?

また、PowerCenter のサンプル マッピングに関するリソースをいくつか提案していただけますか?

皆さん、

64ビットOSでSQLServer2005 SSISを使用して、中規模のデータウェアハウスをロードするETLプロセスを構築しています。SSISのチェックサムパッケージを使用してSCD（緩やかに変化するディメンション）を管理することを計画しています。

SSISチェックサムパッケージを使用して概念実証を行っていますが、実際の本番シナリオで使用するのは快適ではありません。64ビットOSには向いていないと聞きました。また、SSIS製品はすぐに使用できるものではないため、そのパッケージをインストールするのは面倒です。

君たちはどう思う？古い学校のT-SQLチェックサムを使用する必要がありますか、それともそのパッケージを試してみる必要がありますか？大量のETLプロセスで使用した経験はありますか？

以下を表示するために SQL Server Reporting Services レポートで使用できるデータ セットを作成するための最も簡単な方法は何ですか?

これは、私がやろうとしていることの非常に単純化された例です (たとえば、実際のシナリオでは、「Everyone Else」を 3 つのカテゴリ行に分割して表示する必要があります)、それぞれの集計データを表示するという主な目的を示しています。他のすべての人と比較した個人（排他的）。擬似コードは問題ありません。このための SQL コードを最初に試してみたところ、かなりすぐに混乱してしまいました。もっと直接的な方法が必要であることはわかっています。

ヒントをいただければ幸いです。

Web サーバーが生成する Web アクセス ログをロードするデータ ウェアハウス システムを構築することを検討しています。アイデアは、データをリアルタイムでロードすることです。

ユーザーにデータの折れ線グラフを表示し、ユーザーがディメンションを使用してドリルダウンできるようにします。

問題は、システムのバランスを取り、設計する方法です。

(1) データを取得し、リアルタイム (<2 秒) でユーザーに表示できます。

(2) データは時間単位および日単位で集計できます。

(2) 大量のデータを倉庫に保存できるため、および

現在のデータレートは約 1 秒あたり約 10 アクセスで、1 日あたり約 80 万行になります。MySQL と単純なスター スキーマを使用した単純なテストでは、行数が 800 万を超えると、クワイアに 2 秒以上かかり始めることがわかりました。

このような「単純な」データ ウェアハウスからリアルタイムのクエリ パフォーマンスを取得し、大量のデータを保存することは可能ですか (データを決して破棄できないと便利です)。

データをより高い解像度のテーブルに集約する方法はありますか?

これは実際には新しい質問ではないと感じました（ただし、かなりグーグルで検索しました）。誰かがこのようなデータ ウェアハウス ソリューションにポイントを与えることができますか? 頭に浮かぶのはSplunkです。

たぶん、私はあまりにも多くのことを把握しています。

アップデート

私のスキーマは次のようになります。

• 寸法:

  • クライアント (IP アドレス)
  • サーバ
  • URL

• 事実;

  • タイムスタンプ (秒)
  • 送信されたバイト数

私のカスタムWebサーバーは、壁掛け時計のタイムスタンプ（セッションの開始）とセッションが続いた壁のクリック秒数の形式でセッション情報を報告します。

この情報をデータウェアハウス（MySQL +開始スキーマ）に保存して、たとえば特定の時間における特定のエンティティのセッション数を照会できるようにしたい。要件は、グラフにフィードされる時系列データを抽出できる必要があることです。

セッションの絶対秒ごとに行を挿入する以外に、データを保存する方法はありますか？

ここで少し背景：

多かれ少なかれ、データウェアハウスが何であるかを知っています。データ ウェアハウジングに関するガイドを数十冊読み、SSAS で遊んでみました。スター スキーマとディメンション テーブルとファクト テーブルが何であるかを知っています。ETL とは何か、またその方法も知っています。 これは「方法」の質問でも、チュートリアルのリクエストでもありません。

私の問題は、私が読んだデータ ウェアハウスに関する資料のすべてが、データウェアハウスを構築する根拠を曖昧にしているように見えることです。それらはすべて比喩的に、または場合によっては文字通り「だからあなたはデータウェアハウスを構築することに決めました...」というフレーズで始まりますが、私はまだその決定を下していません。

だから私は、SO のメンバーが、ある種の半客観的なテストを私に指摘したり、考え出すのを手伝ってくれることを望んでいます. 特定のシステムに適応して、最終的に「はい、データ ウェアハウスが必要です」または「いいえ、今日の見返りは小さすぎる」という結果になるものです。私が答えることができるはずの具体的な質問は次のとおりだと思います。

1. データ ウェアハウスの構築を検討する価値のあるオプションは、どの時点ですか? 言い換えれば、標準的なトランザクション環境がもはや十分ではないことを示している可能性がある兆候、メトリック、またはその他の基準を確認する必要がありますか?

2. 完全なデータ ウェアハウスに代わるものは何ですか? トランザクション データベースの非正規化とボグ標準のレプリケートされた "レポート サーバー" の 2 つが思い浮かびます。DW にコミットする前に調査すべきものは他にありますか?

3. データ ウェアハウスが上記の代替案よりも優れているのはなぜですか? 答えが「依存する」である場合、それは何に依存していますか?

4. データ ウェアハウスの構築を試みてはいけないのはどのような場合ですか? コンテキストに関係なく、「ベストプラクティス」として宣言されているものには懐疑的です。確かに、DW が間違った選択であるシナリオがいくつかあるに違いありません。

5. データ ウェアハウスの導入によって改善されたシステムの実際の例はありますか? 彼らがどのような決定や分析のために倉庫を必要としたか、倉庫に何を入れるかをどのように決定したか、倉庫が最終的により大きな環境にどのように適合したかをエンドツーエンドで説明してくれる何か? 「AdventureWorks データベースから立方体を作ろう」というわざとではありません。実装は私には関係ありません。仕様と設計、および関連する全体的な思考プロセスに興味があります。

私は通常、マルチパートに尋ねないようにしていますが、これらはすべて非常に密接に関連していると思います. 少なくとも最初の 4 つの質問に対応する回答であれば喜んで受け入れますが、最後の質問は私の頭の中でこれを具体化するのに本当に役立ちます。これについて誰かがすでに書いている場合は、リンクが適度に簡潔で具体的であれば問題ありません (Ralph Kimball のホームページへのリンク = 役に立ちません)。

質問が明確になったことを願っています-回答ありがとうございます！

私の上司は、データ ウェアハウジングについて言及している新しい雑誌を発見しました。したがって、私はデータ ウェアハウジングに関する優れたチュートリアルまたは本を探しています。また、上司の読書をやめる方法についての推奨事項も受け入れます。