Amazon Elastic MapReduce を使用して、S3 にアップロードされたいくつかのログ ファイルを処理しています。
ログファイルは S3 を使用してサーバーから毎日アップロードされますが、転送中に一部が破損したようです。これにより、java.io.IOException: IO error in map input file
例外が発生します。
Hadoop で不良ファイルをスキップする方法はありますか?
Amazon Elastic MapReduce を使用して、S3 にアップロードされたいくつかのログ ファイルを処理しています。
ログファイルは S3 を使用してサーバーから毎日アップロードされますが、転送中に一部が破損したようです。これにより、java.io.IOException: IO error in map input file
例外が発生します。
Hadoop で不良ファイルをスキップする方法はありますか?