14

Hadoop で DFS を消去するにはどうすればよいですか?

4

7 に答える 7

16

次の 2 つのことを行う必要があります。

  1. すべてのノードからメインの Hadoop ストレージ ディレクトリを削除します。このディレクトリは、hdfs-site.xml の hadoop.tmp.dir プロパティによって定義されます。

  2. namenode を再フォーマットします。

hadoop namenode -format

(2) のみを実行すると、namenode によって保存されたメタデータのみが削除されますが、すべての一時ストレージおよび datanode ブロックは削除されません。

于 2011-12-21T23:58:38.963 に答える
10 
hdfs dfs -rm -r "/*"

（古い回答は廃止されました）

于 2009-09-10T23:50:18.190 に答える
10 
bin/hadoop namenode -format
于 2009-09-10T23:52:05.230 に答える
3

あなたは発行することができます

hadoop fs -rmr /

これにより、DFS の下のすべてのディレクトリとサブディレクトリが削除されます。

別のオプションは、クラスターを停止してから発行することです。

hadoop namenode -format

これにより、DFS のすべてのコンテンツが消去され、クラスターが再び開始されます。

于 2012-04-12T19:26:31.557 に答える
3

ですから、これは私が過去にしなければならなかったことです。

1. NameNode の Hadoop ディレクトリに移動し、すべての Hadoop プロセスを停止します。デフォルトのすべて停止スクリプトを実行する。これにより、DFS も停止します。例えば

cd myhadoopdirectory
bin/stop-all.sh

2. クラスター内のすべてのマシン (Namenodes、JobTrackers、datanodes など) で、ルート フォルダーの一時フォルダーに設定されているメインの Hadoop ストレージのすべてのファイルを削除します。あなたのものは、hadoop.tmp.dirプロパティの下のconf hdfs-site.xmlファイルにあります。

cd /temp/
rm -r *

3. 最後に名前ノードに戻り、hadoop ディレクトリに移動して「bin/hadoop namenode -format」を実行してフォーマットします。

cd myhadoopdirectory
bin/hadoop namenode -format

4. 次のコマンドを実行して、クラスターを再起動します。また、DFS を再起動します。

bin/start-all.sh

5. そして、うまくいくはずです。

于 2012-02-05T17:44:30.370 に答える
1

  1. クラスターを停止します

    ${HADOOP_HOME}/bin/stop-mapred.sh

    ${HADOOP_HOME}/bin/stop-dfs.sh

    または、その疑似分散の場合は、単に次を発行します。

    ${HADOOP_HOME}/bin/stop-all.sh

  2. hdfsをフォーマットする

    hadoop namenode -format

于 2012-11-13T22:42:41.260 に答える
1
  1. bin/stop-all.shdfs と mapreduce を停止するために呼び出す必要があります。
  2. conf/hdfs-site.xmlとconf/mapred- site.xmlに設定されている data dir を削除します。
  3. /tmp ディレクトリに存在するいくつかの一時ファイルを削除したことを確認してください。

bin/hadoop namenode -format上記のすべての手順の後、呼び出して dfs を再生成できます。

于 2012-04-18T05:33:41.427 に答える