0

Hadoop を使用して十分な (約 100 万) のテキスト ファイルを解析していますが、それぞれに大量のデータが含まれています。まず、Eclipse を使用してすべてのテキスト ファイルを hdfs にアップロードしました。しかし、ファイルをアップロードするとき、map-reduce 操作により、次のディレクトリ C:\tmp\hadoop-admin\dfs\data に大量のファイルが作成されました。それで、HDFS(基本的には上記のドライブ)のサイズを縮小できるメカニズムはありますか。

4

1 に答える 1

0

hdfs-site.xmlHDFS サイズを縮小するには、次のプロパティにより大きな値 (バイト単位) を設定できます

 dfs.datanode.du.reserved=0 

マップ出力の圧縮を有効にすることで、マップ出力によって生成されるデータの量を減らすこともできます。

map.output.compress=true

それが役立つことを願っています。

于 2013-10-10T09:13:43.413 に答える