hadoop - Hadoop シーケンス ファイルが空かどうかを確認する方法

Question

その場合、これらのファイルのサイズは一定であることに気付きました (私の場合、圧縮を選択した場合は 128 バイト)。ファイルにコンテンツがないかどうかを確認する API または方法はありますか?

Answer 1

ファイルを開いて最初のキーと値のペアを取得しようとする以外は、ありません。その理由は、各「ブロック」内のレコード数を詳述するヘッダーがないためです (主に、データがストリーミングされるため、ヘッダーが書き込まれるときに、キーの数に関する事前の知識がないためです)。

これらの「空の」ファイルの作成を回避する方法については、以前のスレッドがいくつかありましたが、それを行う唯一の実際の方法は、出力される値の数を追跡し、ファイルをコミットしない独自の OutputFormat と OutputComitter を作成することです。データが書き込まれていない場合。