データノードの数を変更するにはどうすればよいですか。つまり、特定のデータノードを無効にして有効にしてスケーラビリティをテストしますか？より明確にするために、私は4つのデータノードを持っており、1、2、3、および4つのデータノードを1つずつ使用してパフォーマンスを実験したいと思います。namenodeのスレーブファイルを更新するだけで可能でしょうか？
質問する
1754 次
2 に答える
2
ノードを一時的に廃止する正しい方法：
- 「除外ファイル」を作成します。これにより、削除するホストが1行に1つずつ一覧表示されます。
- このファイルの場所に
dfs.hosts.excludeとを設定します。mapred.hosts.exclude - とを実行してnamenodeとjobtrackerを更新し
hadoop dfsadmin -refreshNodesますhadoop mradmin -refreshNodes - これにより、廃止措置プロセスが開始されます。これらのノードで複製されていたすべてのデータは、それらのノードから他のノードにコピーされます。WebUIを使用して進行状況を確認できます。
これらのノードは、すぐにMRジョブに使用されることはありませんhadoop mradmin -refreshNodesが、データは保持されるため、廃止措置が完了する前に何かを実行した場合には、他の方法では使用できないネットワーク遅延が発生する可能性があることに注意してください。したがって、完全に現実的なテストを行うには、テストが終了するまで待つ必要があります。
ノードを追加し直すには、除外ファイルからノードを削除して、-refreshNodesコマンドを再度実行します。
于 2012-09-20T20:55:09.083 に答える
0
スレーブファイルはstart-dfsなどのスクリプトにのみ使用され、これらのスクリプトを使用しない場合は無視できます。したがって、空のままにして、オン/オフするだけでクラスターにデータノードを追加/削除できます。
于 2012-09-20T08:32:13.657 に答える