hadoop - dfs.blocksize の値を変更すると、既存のデータに影響しますか

Question

私の Hadoop バージョンは 2.5.2 です。マスター ノードの hdfs-site.xml ファイルで dfs.blocksize を変更しています。次の質問があります。

1) この変更は HDFS の既存のデータに影響しますか 2) この変更を Hadoop クラスター内のすべてのノードに伝達する必要がありますか、それとも NameNode のみで十分ですか?

Answer 1

あなたが使用しているディストリビューション...質問を見ると、Apacheディストリビューションを使用しているように見えます..私が見つけることができる最も簡単な方法は、シェルスクリプトを記述して、最初にスレーブのhdfs-site.xmlを削除することです

ssh username@domain.com 'rm /some/hadoop/conf/hdfs-site.xml'
ssh username@domain2.com 'rm /some/hadoop/conf/hdfs-site.xml'
ssh username@domain3.com 'rm /some/hadoop/conf/hdfs-site.xml'

後で hdfs-site.xml をマスターからすべてのスレーブにコピーします

scp /hadoop/conf/hdfs-site.xml username@domain.com:/hadoop/conf/ 
scp /hadoop/conf/hdfs-site.xml username@domain2.com:/hadoop/conf/ 
scp /hadoop/conf/hdfs-site.xml username@domain3.com:/hadoop/conf/ 

Answer 2

すべてのスレーブの hdfs-site.xml も変更する必要があります... dfs.block サイズはすべてのデータノードで一貫している必要があります。