2

HDFS のブロック サイズについてご意見をお聞きしたいだけです。そのため、HDFS ブロック サイズを 24 MB に設定すると、正常に実行できます。24 MB は、コンピューターの通常のサイズの指数 (2 の乗算) ではないことを覚えています。皆さんにお聞きしたいのですが、24 MB についてどう思いますか?

皆さんありがとう....

4

2 に答える 2

1

はい。HDFS ブロック サイズを 24 MB に設定できます。Hadoop1.x.xのデフォルトは 64 MB で、Hadoop のデフォルトは2.x.x128 MB です。

私の意見では、ブロックサイズを増やしてください。ブロックサイズが大きいほど、レデューサーフェーズで使用される時間が少なくなるためです。そして物事はスピードアップします。ただし、ブロック サイズを小さくすると、各マップ フェーズで費やされる時間が短くなりますが、縮小フェーズでより多くの時間が使用される可能性があります。これにより、全体の時間が増加します。

ローカル ファイル システムからHDFSへの転送中に、以下のコマンドを使用してブロック サイズを変更できます。

hadoop fs -D dfs.blocksize=<blocksize> -put <source_filename> <destination>

hdfs-site.xml を次のように変更すると、ブロック サイズを永続的に変更できます。

<property> 
<name>dfs.block.size<name> 
<value>134217728<value> 
<description>Block size<description> 
<property>
于 2015-06-11T16:19:31.153 に答える