hadoop - HDFSはどのようにブロックを削除しますか？

Question

Hadoopは初めてです。

デプロイ後、ベンチマーク$ hadoop jar hadoop-0.20.0-test.jar TestDFSIO -write -nrFiles 1000-fileSize10を実行しました。

作業が完了したら、クラスターの概要を確認しました。1000個のファイルとディレクトリ、1000ブロック=合計2000個と言います。

次に、シェルcmdを使用して対応するファイルを削除します。その場合、クラスターの概要は次のようになります。0ファイルとディレクトリ1000ブロック=合計1000。

削除後、クラスターの概要にファイルやブロックは存在しないはずです。しかし、実際の状況は次のとおりです。この質問をする前に、1000ブロックです。しかし、今は0ブロックです。

これはどのように起こりますか？

Answer 1

Deleteは、メタデータストアからファイルを削除するようにNameNodeに指示するだけです。これがコミットされた後、NameNodeはブロックをホストするデータノードに連絡し、ブロックを削除するように指示します。

データノードでの実際のファイル削除には数秒かかる場合があり（データノードの数、ブロックサイズ、削除するブロックの数によって異なります）、データノードはnameNodeに報告し、その時点でデータノードが更新されます。ブロックのグローバル数。ご覧のとおり、しばらくすると、ブロックの総数は0に戻ります。

Answer 2

ブロック削除操作は非同期で終了します。