java - Hadoop の動的ノード

Question

開始後に Hadoop に新しいノードを追加することはできますか? ノードを削除できることは知っています（マスターはノードの状態を監視する傾向があるため）。

Answer 1

適切なhadoop-site.xml（マスターnamenodeとjobtrackerを指すノード）を使用して新しいノードを起動するだけで、新しいノードを追加できます。

とはいえ、ノードを削除することは、hdfsファイルブロックのバランスを取り直さずに、特定のブロックのすべての重複を削除しないようにすることは非常に悪い考えです。

3つのデータノードを削除すると、特定のブロック（デフォルトでは複製が3）のすべての複製が失われる可能性があり、その結果、ブロックが属するファイルも破損する可能性があります。2つのノードを削除すると、1つのレプリカが残る可能性があり、破損する可能性があります（ディスクが停止すると発生することが知られています）。

Answer 2

それらをデータノードとして使用しない限り、問題はないと思います...もちろん、hadoopのデータ局所性の側面はその時点でなくなりました。