0

オラクル テーブルを HBase にスクープし、Hive にマッピング テーブルを作成しました。スクープしている間、すべてのデータが 1 つのリージョンに移動しているように見えます。そのため、Hive でクエリを実行すると、レコードを取得するために 1 つのマップ タスクのみが実行されます。

パフォーマンスを向上させるためにこれを処理できる方法はありますか。

4

1 に答える 1

0

テーブルを強制的に分割しようとしましたか?

データが小さい場合 (1 GB 未満、またはデフォルトの最小リージョン サイズが何であれ)、インポート時に取得できるリージョンは 1 つだけです。HBase でテーブルを複数のリージョンに分割するように強制することもできますが、データが小さい場合はあまり改善されない可能性があります。

歴史的に、M/R ジョブには多くのオーバーヘッドがありました。Hive の将来のバージョンが役立つはずですが、おそらく改善はまだ安定した CDH ディストリビューションにはなっていません。

于 2013-10-23T18:13:15.500 に答える