1

9 つのノードを持つ Linux クラスターがあり、hadoop 1.0.2 をインストールしました。複数のスレーブを使用して実行している GIS プログラムがあります。たとえば、1、2、3、4 .. 8 個のスレーブ ノードを使用して、プログラムのスピードアップを測定する必要があります。スレーブの数を変更して conf/slaves ファイルを変更したら、start-all.sh/stop-all.sh スクリプトを使用してクラスターを開始/停止します。しかし、そうしている間に奇妙なエラーが発生し、クラスター内のスレーブ ノードを追加/削除するための正しい手法を使用していないように感じます。

理想的な「スレーブファイルを変更してクラスターを再起動する手法」に関するヘルプをいただければ幸いです。

4

1 に答える 1

1

問題は、Hadoop がシステムからノー​​ドを適切に削除することを許可していないことです。

やりたいことは、ノードを廃止して、HDFS がファイルを別の場所に再複製する時間を確保することです。このプロセスは基本的に、いくつかのノードをexcludesファイルに追加することです。次に、 を実行しますbin/hadoop dfsadmin -refreshNodes。これにより、構成が読み取られ、クラスタのノード ビューが更新されます。

ノードを追加するとき、さらにはノードを削除するときでも、rebalancerの実行を検討する必要があります。これにより、データが均等に分散され、新しいノードにデータがない場合に見られるパフォーマンスが向上します。

于 2012-04-28T13:01:40.207 に答える