0

Pig 0.12 と YARN 2.2 の上で pig スクリプトを使用して連結された bz2 ファイルを処理していたところ、次のエラー メッセージが表示されました。

ERROR: java.io.IOException: Encountered additional bytes in the filesplit past the crc block. Loading of concatenated bz2 files is not supported

YARN 2.2 には、連結された bz2 ファイルの処理 ( https://issues.apache.org/jira/browse/HADOOP-6835 ) の修正が必要だと思っていましたが、まだですか? または、Pig は、基礎となる MapReduce フレームワークに依存するのではなく、bzip2 ファイルを独自に処理しますか、それともパラメーターを設定する必要がありますか?

4

0 に答える 0