25

これは私が最近Web UIで見たものです

 Configured Capacity     :   232.5 GB
 DFS Used    :   112.44 GB
 Non DFS Used    :   119.46 GB
 DFS Remaining   :   613.88 MB
 DFS Used%   :   48.36 %
 DFS Remaining%  :   0.26 %

非 dfs Used が容量の半分以上を占めるほど混乱しています。

これは、Hadoop ストレージの半分が無駄になっていることを意味すると思います

無意味な検索に時間を費やした後、namenode をフォーマットし、ゼロから始めました。

そして、ローカルからHDFSに1つの巨大なテキストファイル(約19ギガバイト)をコピーしました(成功)。

今UIは言う

Configured Capacity  :   232.5 GB
DFS Used     :   38.52 GB
Non DFS Used     :   45.35 GB
DFS Remaining    :   148.62 GB
DFS Used%    :   16.57 %
DFS Remaining%   :   63.92 %

コピーする前は、DFS Used と Non DFS Used は両方とも 0 でした。

DFS Used は元のテキスト ファイルのサイズの約 2 倍で、2 つのコピーを構成したため、

DFS Used はオリジナルとメタの 2 つのコピーで構成されていると思います。

しかし、Non DFS Used がどこから来たのか、なぜそれが DFS Used よりも多くの容量を占めるのか、私にはわかりません。

何が起こった？私は間違いを犯しましたか？

4

5 に答える 5

7

使用されていない DFS は、データ ノードのファイル システム内に存在しないデータですdfs.data.dirs。これには、ログ ファイル、mapreduce シャッフル出力、データ ファイルのローカル コピー (データ ノードに配置する場合) が含まれます。または同様のツールを使用duして、ファイルシステムのスペースを占有しているものを確認します。

于 2013-08-28T03:49:43.760 に答える
0

非 DFS は、ノード マネージャによって保存されるキャッシュ ファイルです。yarn-site.xml の yarn.nodemanager.local-dirs プロパティの下のパスを確認できます。

詳細については、デフォルトのyarn-site.xmlを参照してください。

于 2016-08-29T03:54:52.633 に答える