問題タブ [olap]

多くのテキスト ログを分析するために、次のようなハッキングを行いました。

1. ログを Access にローカルにインポートする
2. Analisis Service 2000 の以前の mdb へのキューブ リンクを再処理します (はい、2k です)。
3. Excel を使用してキューブを視覚化します (サイズは大きくありません - 最大数百万の生のエントリ)

私のハッカーは成功し、より多くの人々が私のツールへのアクセスを要求しています。ご覧のとおり、より自動化され、展開が容易になっています。

同じことを提供するツール/ライブラリがいくつかありますが、展開が簡単ですか? 組み込み OLAPサービスのようなものですか?

編集: Mondrian のことは聞いたことがありますが、Java はあまり扱っていません。.Net/Win32 に対して同様のことが行われているのを見たことがありますか? コマーシャルもOK。

Visual Studio 2005でキューブを処理すると、次のメッセージが表示されます。

プロセスは成功しました。トレース情報はまだ転送中です。すべての情報が到着するのを待ちたくない場合は、[停止]を押します。

トレース情報は表示されません。キューブは少し面倒なのでOK処理されます。何か案は？Webサーバー経由でキューブにアクセスします。

私は現在、長年のリレーショナルデータベース開発の後でOLAPとMDXを学んでいます。

MDXを始めるためのヒントはありますか？MDXを学ぶのに最適な本とリソースは何ですか？

いくつかのディメンションを持つ多次元 OLAP キューブがあります。これらのディメンションの一部には階層があります。ユーザーは、ディメンションの階層を変更して、キューブ内のメジャーに対して「what-if」分析を実行したいと考えています。

たとえば、部門間の従業員の移動による部門のリソース予算への影響や、製品がある工場から別の工場に移動した場合の製造コストの変化を知りたいと考えています。

最新の OLAP エンジンでこれを行う簡単な方法はありますか?

Oracle Standardを使用しているクライアントと、OLAP を使用すると 10 倍簡単に対処できるプロジェクトがあります。ただし、Oracle はEnterpriseバージョンでのみ OLAP をサポートします。

エンタープライズへの移行はできません

OLAP の手動シミュレーションを行い、テクノロジーをシミュレートするためのリレーショナル テーブルを作成することを考えています。

私がこれを行うことができる他の方法を知っていますか？OLAP 用のオープンソース ツールでしょうか。何か案は？

エンドユーザーが既存のSqlServerAnalysisServiceキューブで「クエリ」を実行するためのよりシンプルなインターフェイスはありますか？キューブをデプロイし、ユーザーがBIDSよりもシンプルなインターフェイスを介してデータを操作できるようにする方法を探しています。これも可能ですか？

本当の DBA の意見が必要です。Postgres 8.3 は、私の Macbook Pro でこのクエリを実行するのに 200 ミリ秒かかりますが、Java と Python は 20 ミリ秒 (350,000 行) 未満で同じ計算を実行します。

SQL データベースを使用する場合、これは正常な動作ですか?

スキーマ (テーブルには調査への回答が保持されます):

コンテキストのために Java と Python でいくつかのテストを作成しましたが、それらは SQL をクラッシュさせます (純粋な python を除く):

sqlite3 でさえ、すべての列が文字列であると仮定しているにもかかわらず、Postgres と競合します (対照的に、Postgres で整数の代わりに数値列に切り替えるだけでも、10 倍の速度低下が発生します)。

成功せずに試したチューニングには次のものが含まれます（盲目的にいくつかのWebアドバイスに従います）：

私の質問は、ここでの私の経験は正常ですか?これは、SQL データベースを使用するときに期待できることですか? ACID にコストがかかることは理解できますが、これはちょっとおかしいと思います。リアルタイムのゲーム速度を求めているわけではありませんが、Java は 20 ミリ秒未満で数百万の double を処理できるため、少しうらやましく思います。

シンプルな OLAP を低価格で (お金とサーバーの複雑さの両方の点で) 実行するより良い方法はありますか? 私は Mondrian と Pig + Hadoop を調べましたが、さらに別のサーバー アプリケーションを維持することにそれほど興奮しておらず、それらが役立つかどうかもわかりません。

いわば、Python コードと Java コードは社内ですべての作業を行っています。それぞれ 350,000 個のランダムな値を持つ 4 つの配列を生成し、平均を取ります。タイミングには世代を含めず、平均化ステップのみを含めます。Java スレッドのタイミングは 4 つのスレッド (配列あたり平均 1 つ) を使用し、やり過ぎですが、間違いなく最速です。

sqlite3 のタイミングは Python プログラムによって駆動され、ディスクから実行されます (:memory: ではありません)。

Postgres が舞台裏でさらに多くのことを行っていることは認識していますが、これは読み取り専用データであるため、その作業のほとんどは私にとって重要ではありません。

Postgres クエリは、その後の実行でタイミングを変更しません。

Python テストを再実行して、ディスクからスプールすることを含めました。タイミングは大幅に遅くなり、4 秒近くになります。しかし、Python のファイル処理コードはほとんど C で書かれていると思います (csv lib ではないかもしれませんが)。これは、Postgres がディスクからストリーミングしていないことを示しています (または、あなたが正しいので、お辞儀をする必要があります)。誰がストレージ層を書く前に!)

オラップ キューブにピボット テーブルがあります。ページ フィールドに移動して、複数の項目を手動で選択解除できます。除外する必要があるアイテムのリストに基づいて、VBA でこれを行うにはどうすればよいですか? (nb 私が含める必要がある項目の対応するリストを持っていません)

たとえば、基になるクエリを変更するなど、他の方法でこれらのアイテムを除外する方法を知っています。具体的には、ピボットでアイテムの選択を解除するユーザー アクションを再現したいと考えています。

OLAP データベースのすべての「週」および「日」レベルのメジャーをリストする MDX クエリがあります。例えば

ただし、メジャーが 1 週間表示される場合、すべての日の値の合計を表示するのではなく、その週の最終日の値を表示したいと考えています。例えば

第 1 週: 12
15 9 月: 10
16 9 月: 20
17 9 月: 12
18 9 月: 15
19 9 月: 8
20 9 月: 9
21 9 月: 12
第 2 週: 15
22 9 月: 12
23 9 月: 15

MDX 内でこれを実現するにはどうすればよいですか?

一連のバイナリ ファイルから OLAP データソースを構築しようとしていますが、現在のモデルは機能していません。結果の分析/レポート モデルとして SSAS を使用していますが、SQL から必要なパフォーマンスを得ることができません。

主な制約は次のとおりです。

1. データベースは非常に大きいです。数百万行の巨大なディメンション テーブルと、いくつかの小さなファクト テーブル (1,000,000 行未満) があります。

2. 動的キューブがあります。B/C ファクト テーブルは動的に構築され、多くの場合 (おそらく 1 日に複数回)、キューブのセットアップに大きなオーバーヘッドが発生することはありません。キューブへの現在の展開時間は 24 時間を超える可能性があり、ハードウェアでは実現できない桁違いのパフォーマンス向上が必要です。

基本的に、迅速なセットアップと展開が必要であり、SQL Server 2005 を使用する SSAS には本質的に適していませんが、レポートには SSRS を使用し、Excel での分析には OLAP モデルが必要なので、引き続き可能であれば、SSAS を使用してキューブを構築します。

高速展開のための SSAS での一般的なソリューションは ROLAP ですが、大規模な ROLAP クエリでは実行エラーが発生し、バイナリ データを SQL に変換してキューブにロードする際のすべてのオーバーヘッドも好ましくありません。

SSAS が使用できるカスタム OLAP データソースで作業を行った人はいますか? バイナリ ソース ファイルを直接クエリする独自の ROLAP エンジンを作成しようとしています。