Hadoop Mapreduce CombineFileInputFormat は、小さなサイズのファイルを多数読み取る場合にうまく機能しますが、ジョブが次の例外で失敗することがあることに気付きました。
java.lang.RuntimeException: org.apache.hadoop.mapreduce.lib.input.CombineFileRecordReader.initNextRecordReader(CombineFileRecordReader.java:164) の java.lang.reflect.InvocationTargetException org.apache.hadoop.mapreduce.lib.input.CombineFileRecordReader の java.lang.reflect.InvocationTargetException org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:483) の .nextKeyValue(CombineFileRecordReader.java:67) org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:76) の) org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:85) で org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:139) で org.apache. hadoop.mapred.MapTask.runNewMapper(MapTask.java:672) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:330) at org.apache.hadoop.mapred.Child$4.run(Child.java) :268) Java で。org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.
これは、他の mapreduce ジョブが同じデータで同時に実行されている場合にのみ発生することに気付きました。それ以外の場合は、期待どおりに機能します。
同様の条件でハイブクエリを実行すると、同じ例外が生成されます。
これの解決策または考えられる原因を探しています。