1

Amazon Elastic mapreduce でクラスターを開始し、1 つのマスター ノード インスタンス、2 つのコア ノード インスタンス、15 のタスク ノード インスタンスがあるとします。

mapreduce ジョブと増分アップロードを使用して、約 1 TB のデータを hbase にアップロードしたと思います。

今 -

  1. テーブル サイズと領域分割 (バイト) を確認するにはどうすればよいですか。通常、CDH では、hadoop fs -du /hbase を実行します。しかし、マスター ノードに /hbase ディレクトリがありません。

  2. また、地域サーバーの割り当てがどのように機能するかについても知りたいです。つまり、100 のリージョンがある場合でも (マスター ノードが 1 つある場合)、IO 全体が適切に調整されることを意味します。

ありがとうございます。それでは、お元気で

4

1 に答える 1

0

Elastic Map Reduce を使用して Amazon AWS で HBase クラスターを起動しましたか? それとも単なる Hadoop クラスターですか?

  1. 「hadoop fs -du /hbase」は、HBase-on-EMR で機能します。再確認できますか？
  2. リージョンなどを事前に分割していない場合は、HBase がこれを処理します。I/O スロットリングについては、HBase ドキュメント/ビデオをご覧ください。クライアントが HBase から読み書きする必要がある場合、-ROOT- および .META からの結果がキャッシュされます。マスターを経由する代わりに、地域サーバーに直接接続します。
于 2013-10-15T20:19:03.430 に答える