私は以下のセットアップを持っています
thirft サーバーが hbase で実行されている 2 ノードの hadoop/hbase クラスター。
Hbase には、1,000 万行のテーブルがあります。
hbase テーブルで sum() のような集計クエリを実行して、Web 上に表示する必要があります (グラフ化の目的)。
今のところ、データセットを取得して表示するために python(thrift client) を使用しています。
Web で使用するデータベース (hbase) レベルの集計関数を探しています。
何かご意見は？
Phoenix は、Hive よりも Hbase テーブルの低レイテンシーの結果に適したソリューションです。セカンダリ インデックスと SkipScan を使用するため、Hbase スキャナーよりも範囲スキャンに適しています。あなたの場合のように、Python を使用し、phoenix API には JDBC コネクタしかありません。
それ以外の場合は、Hbase コプロセッサを試してください。SUM、MAX、COUNT、AVG 関数を実行します。テーブルの作成中にコプロセッサーを有効にし、コプロセッサー機能を使用できます
ODBC コネクタ、JDBC コネクタを提供する Impala を試すことができます。Impala は、超並列バッチ実行を実行するためにハイブ メタテーブルを使用します。Hbase テーブルの Hive メタテーブルを作成する必要があります。
フェニックスを参照できます。ウェブサイト: https://github.com/forcedotcom/phoenix/ http://forcedotcom.github.io/phoenix/
これは通常、マップ削減ジョブです。Hive を使用して、SQL に似たクエリを作成する方法を検討することをお勧めします。https://cwiki.apache.org/Hive/hbaseintegration.html