OLAPの作成に使用されるWikiから読んだHadoopハイブと少し混同しています。今、Mysql を使用する OLTP データベースから Hive で OLAP を作成したいと考えています。
どうすればこれを解決できますか? Hive で OLAP を作成するために Kettle を使用できますか? OLTP mysql から Hive で OLAP を作成する方法についてのガイダンスはありますか?
わかりました。
1560 次
1 に答える
0
次のアプローチをお勧めし
ます。a) OLTP プロセスの履歴部分を指定する。通常、これは操作に関する何らかのログです。それをファクトテーブルと呼びましょう。
b) ファクト テーブルを時間ごとにパーティション分割する
c) 最も古いパーティションを MySQL から CSV にエクスポートして MySQL から削除することにより、定期的にオフロードします。
e) この CSV ファイルを Hive にロードします
このスキーマを実装することで、最新のデータを除くすべてのデータをハイブに保持し、MySQL OLTP データベースの増大を防ぐことができます。
于 2011-08-08T07:59:56.140 に答える