Hadoop のファイルシステム カウンターを理解したい。
以下は、私が実行したジョブのカウンターです。
実行するすべてのジョブで、Map ファイルの読み取りバイト数が HDFS の読み取りバイト数とほぼ同じであることがわかりました。そして、マップによって書き込まれたファイルのバイト数は、マッパーによって読み取られたファイルのバイト数と hdfs のバイト数の合計であることがわかりました。助けてください！同じデータがローカル ファイルと hdfs の両方で読み取られており、両方がマップ フェーズによってローカル ファイル システムに書き込まれていますか?
Map
FILE_BYTES_READ 5,062,341,139
HDFS_BYTES_READ 4,405,881,342
FILE_BYTES_WRITTEN 9,309,466,964
HDFS_BYTES_WRITTEN 0
ありがとう！