Nutch コマンド ~/nutch/runtime/deploy$ bin/nutch crawl urls -dir /user/dlequoc/urls -depth 2 -topN 5 を実行すると、次の例外が発生しました。
================================================== =====
13/08/26 16:30:15 INFO mapred.JobClient: map 100% reduce 0% 13/08/26 16:30:29 INFO mapred.JobClient: Task Id: attempts_201308261546_0004_r_000000_0, Status: FAILED java.lang.NullPointerException at org.apache.avro.util.Utf8.(Utf8.java:37) org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.hadoop.mapreduce.Reducer.run(Reducer) .java:174) org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417) org.apache.hadoop. mapred.Child$4.run(Child.java:255) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security org.apache.hadoop.mapred の .UserGroupInformation.doAs(UserGroupInformation.java:1121)。Child.main(Child.java:249) 13/08/26 16:30:32 INFO mapred.JobClient: タスク ID: 試行_201308261546_0004_r_000001_0、ステータス: org.apache.avro.util.Utf8 で失敗した java.lang.NullPointerException.( Utf8.java:37) org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) で org.apache.hadoop org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417) の .mapred.ReduceTask.runNewReducer(ReduceTask.java:649) org.apache.hadoop.mapred.Child$4.run(Child.java: 255) org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) で javax.security.auth.Subject.doAs(Subject.java:396) で java.security.AccessController.doPrivileged(ネイティブ メソッド) org.apache.hadoop.mapred.Child.main(Child.java:249) 13/08/26 16:30:32 情報 mapred.JobClient: タスク ID: 試行_201308261546_0004_r_000005_0、ステータス: org.apache.avro.util.Utf8 で失敗した java.lang.NullPointerException (Utf8.java:37) 組織で.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask) .java:649) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) の javax.security.auth.Subject.doAs(Subject.java:396) の .doPrivileged(ネイティブ メソッド) org.apache.hadoop.mapred .Child.main(Child.java:249) 13/08/26 16:30:32 INFO マップレッド。JobClient: タスク ID: 試行_201308261546_0004_r_000004_0、ステータス: org.apache.avro.util.Utf8 で失敗した java.lang.NullPointerException。 100) org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) で org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) で org.apache.hadoop.mapred.ReduceTask .run(ReduceTask.java:417) at org.apache.hadoop.mapred.Child$4.run(Child.java:255) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject. org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) の doAs(Subject.java:396) org.apache.hadoop.mapred.Child.main(Child.java:249) 13/08/ 26 16:30:32 INFO mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で失敗しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:30: 32 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で失敗しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:30: 44 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で失敗しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:30: 47 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で FAILED java.lang.NullPointerException が発生しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:30: 47 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で失敗しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:30: 47 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で失敗しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:30: 47 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で FAILED java.lang.NullPointerException が発生しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:30: 47 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で FAILED java.lang.NullPointerException が発生しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:30: 59 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で FAILED java.lang.NullPointerException が発生しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:30: 59 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で FAILED java.lang.NullPointerException が発生しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:30: 59 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で失敗しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:31: 02 INFO mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で失敗しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:31: 05 INFO mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で失敗しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:31: 11 情報 mapred.JobClient: タスク ID:org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100) で org.apache.avro.util.Utf8.(Utf8.java:37) で java.lang.NullPointerException が失敗しました。 org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649) の apache.hadoop.mapreduce.Reducer.run(Reducer.java:174) org.apache.hadoop.mapred.ReduceTask.run(ReduceTask. java:417) で org.apache.hadoop.mapred.Child$4.run(Child.java:255) で java.security.AccessController.doPrivileged(Native Method) で javax.security.auth.Subject.doAs(Subject.java) で:396) org.apache.hadoop.mapred.Child.main(Child.java:249) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 13/08/26 16:31: 20 INFO mapred.JobClient: ジョブが完了しました:job_201308261546_0004 13/08/26 16:31:20 情報 mapred.JobClient: カウンター: 24 13/08/26 16:31:20 情報 mapred.JobClient: ジョブ カウンター 13/08/26 16:31:20 情報 mapred.JobClient : Launched reduce tasks=23 13/08/26 16:31:20 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=113452 13/08/26 16:31:20 INFO mapred.JobClient: スロットを予約した後の待ち時間を短縮するために費やした合計時間 (ミリ秒) = 0 13/08/26 16:31:20 INFO mapred.JobClient:
スロットを予約した後に待機しているすべてのマップで費やされた合計時間 (ミリ秒)=0 13/08/26 16:31:20 INFO mapred.JobClient: ラックローカル マップ タスク=1 13/08/26 16:31:20 INFO mapred. JobClient: 起動された map タスク = 1 13/08/26 16:31:20 INFO mapred.JobClient: 失敗した reduce タスク = 1 13/08/26 16:31:20 INFO mapred.JobClient:
SLOTS_MILLIS_REDUCES=268210 13/08/26 16:31:20 INFO mapred.JobClient:
FileSystemCounters 13/08/26 16:31:20 INFO mapred.JobClient:
FILE_BYTES_READ=25743276 13/08/26 16:31:20 INFO mapred.JobClient:
HDFS_BYTES_READ=704 13/08 /26 16:31:20 INFO mapred.JobClient:
FILE_BYTES_WRITTEN=51473783 13/08/26 16:31:20 INFO mapred.JobClient:
ファイル入力形式カウンター 13/08/26 16:31:20 INFO mapred.JobClient:
読み取りバイト数 = 0 13/08/26 16:31:20 情報 mapred.JobClient: Map-Reduce フレームワーク 13/08/26 16:31:20 情報 mapred.JobClient: 実体化された出力バイト数 = 25720344 13/08/26 16 :31:20 情報 mapred.JobClient:
出力レコードを結合する=0 13/08/26 16:31:20 情報 mapred.JobClient:
入力レコードをマップする=333988 13/08/26 16:31:20 情報 mapred.JobClient:
物理メモリ (バイト) スナップショット = 449036288 13/08/26 16:31:20 INFO mapred.JobClient: こぼれたレコード = 667976 13/08/26 16:31:20 INFO mapred.JobClient: マップ出力バイト = 25052332 13/08 /26 16:31:20 情報 mapred.JobClient: 消費した CPU 時間 (ミリ秒)=81870 13/08/26 16:31:20 情報 mapred.JobClient: コミットされた合計ヒープ使用量 (バイト)=208011264 13/08/26 16 :31:20 INFO mapred.JobClient: 仮想メモリ (バイト) スナップショット = 740638720 13/08/26 16:31:20 INFO mapred.JobClient:
入力レコードを結合 = 0 13/08/26 16:31:20 INFO mapred。 JobClient:
マップ出力レコード = 333988 13/08/26 16:31:20 INFO mapred.JobClient:
SPLIT_RAW_BYTES=704 スレッド「メイン」の例外 java.lang.RuntimeException: ジョブが失敗しました: name=generate: null, jobid=job_201308261546_0004 at org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:54) at org.apache .nutch.crawl.GeneratorJob.run(GeneratorJob.java:199) at org.apache.nutch.crawl.Crawler.runTool(Crawler.java:68) at org.apache.nutch.crawl.Crawler.run(Crawler.java) :152) org.apache.nutch.crawl.Crawler.run(Crawler.java:250) で org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) で org.apache.nutch.crawl で。 Crawler.main(Crawler.java:257) の sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) の sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) の sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) java.lang.reflect.Method.invoke(Method.java:597) で org.apache.hadoop.util.RunJar.main(RunJar.java:156) で
助けていただけますか？ありがとう！