115

私du -shは一般的な Linux ファイルシステムを知っています。しかし、HDFS でそれを行うにはどうすればよいでしょうか。

4

11 に答える 11

186

0.20.203 より前、および 2.6.0 で公式に非推奨:

hadoop fs -dus [directory]

0.20.203 (リンク切れ) 1.0.4以降、 2.6.0まで互換性があります。

hdfs dfs -du [-s] [-h] URI [URI …]

hadoop fs -helpより多くの情報と詳細を得るために実行することもできます。

于 2011-06-28T14:19:23.660 に答える
80

hadoop fs -du -s -h /path/to/dirディレクトリのサイズを読み取り可能な形式で表示します。

于 2015-02-18T13:51:03.670 に答える
2

ディレクトリのサイズを取得するには、hdfs dfs -du -s -h /$yourDirectoryNameを使用できます。hdfs dfsadmin -report を使用して、クラスター レベルのストレージ レポートをすばやく表示できます。

于 2016-11-13T06:05:28.960 に答える
1

Hadoop バージョン 2.3.33:

hadoop fs -dus  /path/to/dir  |   awk '{print $2/1024**3 " G"}'

ここに画像の説明を入力

于 2018-09-02T08:27:53.633 に答える
0

Hadoop クラスターの使用済みスペースの割合
sudo -u hdfs hadoop fs –df

特定のフォルダの容量:
sudo -u hdfs hadoop fs -du -h /user

于 2014-10-27T12:55:54.667 に答える
0

hdfs dfs -count <dir>

マニュアルページからの情報:

-count [-q] [-h] [-v] [-t [<storage type>]] [-u] <path> ... :
  Count the number of directories, files and bytes under the paths
  that match the specified file pattern.  The output columns are:
  DIR_COUNT FILE_COUNT CONTENT_SIZE PATHNAME
  or, with the -q option:
  QUOTA REM_QUOTA SPACE_QUOTA REM_SPACE_QUOTA
        DIR_COUNT FILE_COUNT CONTENT_SIZE PATHNAME
于 2019-08-21T20:36:52.147 に答える
-1

コマンドはhadoop fs -du -s -h \dirPath

  • -du [-s] [-h] ... : 指定されたファイル パターンに一致するファイルによって使用されるスペースの量をバイト単位で表示します。

  • -s : パターンに一致する個々のファイルのサイズを表示するのではなく
    、合計 (要約) サイズを表示します。

  • -h : バイト数ではなく、人間が読める形式でファイルのサイズをフォーマットします。(例: MB/GB/TB など)

    -s オプションがなくても、これはディレクトリの 1 レベル深いサイズの概要のみを表示することに注意してください。

    出力はフォームサイズ名（フルパス）です

于 2017-09-19T05:58:54.723 に答える