15

私はClouderaで遊んでいて、仕事を始める前にクラスターの数を定義してから、clouderaマネージャーを使用してすべてが実行されていることを確認します。

私は、hadoopを使用する代わりにメッセージキューを使用して作業を配布する新しいプロジェクトに取り組んでいますが、作業の結果はHBaseに保存されます。ジョブを処理してHbaseに保存するために10台のサーバーを起動する可能性がありますが、後でさらにいくつかのワーカーノードを追加することにしたかどうか疑問に思っています。 HBase / HDFSをクラスター化するには？

これは可能ですか、それを行うために何を学ぶ必要がありますか？

4

5 に答える 5

13

ノードをHadoopに追加するためのドキュメントとHBaseのドキュメントは次のとおりです。ドキュメントを見ると、クラスターを再起動する必要はありません。ノードは動的に追加できます。

于 2012-10-31T14:34:42.213 に答える
2

次の手順は、実行中のクラスターに新しいノードを起動するのに役立ちます。 

1> Update the /etc/hadoop/conf/slaves list with the new node-name
2> Sync the full configuration /etc/hadoop/conf to the new datanode from the Namenode. If the file system isn't shared.  
2>  Restart all the hadoop services on Namenode/Tasktracker and all the services on the new Datanode. 
3>  Verify the new datanode from the browser http://namenode:50070
4>  Run the balancer script to readjust the data between the nodes.

新しいノードを追加するときに、NN でサービスを再起動したくない場合。スレーブ構成ファイルに先に名前を追加すると思います。したがって、それらは使用可能になるまで廃止/デッド ノードとして報告されます。上記の DataNode のみの手順に従います。繰り返しますが、これはベスト プラクティスではありません。

于 2012-10-31T16:03:06.033 に答える
0

私が正しく理解していれば、データを保存するために HBase に接続する自分で調整するワーカーがいます。それらは必要な数だけ持つことができ、追加されたときに Hbase に接続できます (飼育係クォーラムを認識できる限り)。

Hadoop クラスターの増加について話している場合。すでに Cloudera を使用しているため、cloudera Manager REST APIまたは誰かが実装した Java クライアントを介してそれを行うことができます。

于 2012-10-31T15:22:29.107 に答える
0

Hadoop クラスタを再起動せずに実行できます。このドキュメントに従って、インクルード ファイルにノードを追加し、hdfs-site.xml および mapred-site.xml ファイルにいくつかの変更を加えることで、これを実現できます。詳細な手順は、このドキュメントに記載されています

于 2016-01-13T09:16:21.727 に答える