VerticaDBとして使用するWeb分析ツールを適応させています。私は本当の問題を抱えていoptimizing joinsます。いくつかのクエリに対して結合前のプロジェクションを作成してみました。これにより、クエリは非常に高速になりましたが、ファクト テーブルへのデータの読み込みが遅くなり、クロールされました。
ステージング テーブルからファクト テーブルにデータをロードするために使用する簡単なINSERT INTO ... SELECT * FROM方法では、5 秒から 20 分以上かかります。
このため、結合前のプロジェクションをすべて削除し、データベース デザイナーを使用してクエリ固有のプロジェクションを設計しようとしましたが、十分ではありません。これらのプロジェクションを使用しても、単純な結合には約 14 秒かかりますが、結合前のプロジェクションでは約 1 秒かかります。
私の質問は次のとおりです。結合前のプロジェクションがデータ挿入をこれほど遅くするのは正常ですか?そうでない場合、何が原因である可能性がありますか? これが正常な場合、それは私たちにとってショーストッパーです。結合を高速化するために使用できる他の手法はありますか?
Vertica を 5 ノード クラスタで実行しており、各ノードには 2 つのクアッド コア CPU と 32 GB のメモリがあります。この例のクエリのテーブルには、それぞれ 188,843,085 行と 25,712,878 行があります。
EXPLAIN の出力は次のようになります。
EXPLAIN SELECT referer_via_.url as referralPageUrl, COUNT(DISTINCT sessio
n.id) as visits FROM owa_session as session JOIN owa_referer AS referer_vi
a_ ON session.referer_id = referer_via_.id WHERE session.yyyymmdd BETWEEN
'20121123' AND '20121123' AND session.site_id = '49' GROUP BY referer_via_
.url ORDER BY visits DESC LIMIT 250;
Access Path:
+-SELECT LIMIT 250 [Cost: 1M, Rows: 250 (STALE STATISTICS)] (PATH ID: 0)
| Output Only: 250 tuples
| Execute on: Query Initiator
| +---> SORT [Cost: 1M, Rows: 1 (STALE STATISTICS)] (PATH ID: 1)
| | Order: count(DISTINCT "session".id) DESC
| | Output Only: 250 tuples
| | Execute on: All Nodes
| | +---> GROUPBY PIPELINED (RESEGMENT GROUPS) [Cost: 1M, Rows: 1 (STALE
STATISTICS)] (PATH ID: 2)
| | | Aggregates: count(DISTINCT "session".id)
| | | Group By: referer_via_.url
| | | Execute on: All Nodes
| | | +---> GROUPBY HASH (SORT OUTPUT) (RESEGMENT GROUPS) [Cost: 1M, Rows
: 1 (STALE STATISTICS)] (PATH ID: 3)
| | | | Group By: referer_via_.url, "session".id
| | | | Execute on: All Nodes
| | | | +---> JOIN HASH [Cost: 1M, Rows: 1 (STALE STATISTICS)] (PATH ID:
4) Outer (RESEGMENT)
| | | | | Join Cond: ("session".referer_id = referer_via_.id)
| | | | | Execute on: All Nodes
| | | | | +-- Outer -> STORAGE ACCESS for session [Cost: 463, Rows: 1 (ST
ALE STATISTICS)] (PUSHED GROUPING) (PATH ID: 5)
| | | | | | Projection: public.owa_session_projection
| | | | | | Materialize: "session".id, "session".referer_id
| | | | | | Filter: ("session".site_id = '49')
| | | | | | Filter: (("session".yyyymmdd >= 20121123) AND ("session"
.yyyymmdd <= 20121123))
| | | | | | Execute on: All Nodes
| | | | | +-- Inner -> STORAGE ACCESS for referer_via_ [Cost: 293K, Rows:
26M] (PATH ID: 6)
| | | | | | Projection: public.owa_referer_DBD_1_seg_Potency_2012112
2_Potency_20121122
| | | | | | Materialize: referer_via_.id, referer_via_.url
| | | | | | Execute on: All Nodes