0

6 ノード Hbase クラスター (1 マスター - 5 スレーブ) のハードウェア構成は次のとおりです。

各ノードの構成

2.4Ghz、48 コア Intel CPU

256GBのRAM

1Gb/ps ネットワーク接続

30 x SSD ディスク (JBOD セットアップ)

OS:RHEL6.6

Hbase バージョン:1.2.0

CDH ディストリビューション: 5.7.0

Hbase で次のパラメーターを調整しました。

hbase.client.write.buffer: 64MB


hbase.regionserver.handler.count: 64

master_region_java_heapsize: 125GB




hbase.client.scanner.caching: 10000

hbase.hregion.memstore.flush.size:  8GB


hbase.hregion.max.filesize:100GB

このセットアップでは、250 スレッドで YCSB を使用して、50% の読み取りと 50% の書き込みで 85000 IOPS を得ることができます。

より多くの IOPS を生成するのに役立つ構成変更を誰でも提案できますか?

4

1 に答える 1

1

セットアップに関する詳細情報があると役立ちます。(ディストリビューション、OS、クラスタの状態、ストレージなど)

また、あなたの目標はycsbでより良い数字ですか.

構成をざっと見てみると、高速ストレージ (ssd、ramdisk など) を使用している場合、ネットワークが飽和状態になると思います。

一般的なアドバイスでは、基本に固執すると思います。

  • リソースを適切に監視する
  • ボトルネックを特定して理解する
  • 最適化

ここにあなたを助けるかもしれないいくつかのコンテンツがあります：

パフォーマンスに関する公式ドキュメントを読んでいただければ幸いです [1]。

HBase 用の JVM (具体的には GC) のチューニングに関する優れた記事があります。[2] [3] [4]

apache HBase ブログに、HDD、SSD、RAM ディスクの興味深いパフォーマンス比較があります。[5]

[1] https://hbase.apache.org/book.html#performance

[2] http://blog.cloudera.com/blog/2014/12/tuning-java-garbage-collection-for-hbase/ [3] https://software.intel.com/en-us/blogs/ 2014/06/18/part-1-tuning-java-garbage-collection-for-hbase [4] http://product.hubspot.com/blog/g1gc-tuning-your-hbase-cluster

[5] https://blogs.apache.org/hbase/entry/hdfs_hsm_and_hbase_part

【6】特典映像！- https://vimeo.com/127778854

于 2016-06-21T04:16:48.413 に答える