1

MapReduce でこのパラメーターを実験しようとしていますが、いくつか質問があります。

これは HDFS のサイズ (圧縮されているかどうか) によって異なりますか? それとも解凍後ですか？前者だと思いますが、確認したいだけです。

4

2 に答える 2

2

Hadoop 0.21 から、bz2 ファイルは分割可能だと思います。したがって、bz2 を使用できます。

于 2012-10-18T02:24:56.277 に答える
2

このパラメーターは、入力形式が入力ファイルの分割をサポートしている場合にのみ使用されます。一般的な圧縮コーデック (gzip など) はファイルの分割をサポートしていないため、これは無視されます。

入力形式が分割をサポートしている場合、これは圧縮サイズに関連しています。

于 2012-06-26T10:38:48.603 に答える