1

レプリケーション ファクター= 3の 3 ノード Hadoop クラスターがあります。

ストレージ ディレクトリは、各システムの/app/hadoop/tmp/dfs/です。

各データノード システムには、221GB のハードディスク容量があります。

HDFSの実効データは、レプリケーション62*3= 186GB で 62GB です。

ここでの問題は、660 GB クラスターに 186 GB のデータしかないにもかかわらず、ストレージが不足していることです。HDFS は、使用可能なスペースに大きな違いを示しています。

datanode1 = 7.47 GB

datanode2 =17.7 GB

datanode3 = 143 GB

これらのスペースが Hadoop ローカル ストレージによって使用されていることを確認するために、各データノードでこのコマンドを実行しました。データノード 1 用

du -h --max-depth=1 /app/hadoop/tmp/
63G     /app/hadoop/tmp/dfs
139G    /app/hadoop/tmp/mapred
201G    /app/hadoop/tmp/

データノード 2 用

du -h --max-depth=1 /app/hadoop/tmp/
126G    /app/hadoop/tmp/mapred
62G     /app/hadoop/tmp/dfs
188G    /app/hadoop/tmp/

datanode3 の場合 du -h --max-depth=1 /app/hadoop/tmp/dfs/ 62G /app/hadoop/tmp/dfs/data 62G /app/hadoop/tmp/dfs/

ここで、datanode1 はストレージに 201GB のスペースを使用しています。 ロードバランサーを試しましたが、クラスターのバランスが取れていることを示しています。これが出力です。

start-balancer.sh
starting balancer, logging to /usr/lib/hadoop-0.20/logs/hadoop-ocpe-balancer-blrkec241933d.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
The cluster is balanced. Exiting...
Balancing took 622.0 milliseconds

最近、データノードの 1 つが数日間ダウンしました。修正後、この問題が発生しました。負荷のバランスを取るには？

4

1 に答える 1

0

ディスク スペースの分析には、MapReduce スクラッチ ディレクトリ スペース (/app/hadoop/tmp/mapred パス) が含まれます。これは、HDFS の外部にあり、ほとんどがジョブの完了時に消去される一時的なデータです。DFS スペース (/app/hadoop/tmp/dfs) は、予想される使用サイズと一致しているようです。

したがって、TaskTracker ではなく、DataNode によってディスク容量が占有されているわけではなく、DataNode を再起動すると、これらのディレクトリが強制的にクリアされます。

于 2012-12-31T00:17:09.970 に答える