4

Gora 0.6.1 を使用する Apache Nutch 2.3.1 をすぐに実行しています。ここの指示に従いました: http://wiki.apache.org/nutch/RunNutchInEclipse

で問題なく動きましたInjectorJob。

現在、私は を実行しておりFetcherJob、Gora はMemStoreデータ ストアとして使用しています。gora.properties含んでいます

gora.datastore.default=org.apache.gora.memory.store.MemStore

これはスローします：

2016-10-02 22:55:54,605 ERROR mapreduce.GoraRecordReader (GoraRecordReader.java:nextKeyValue(121)) - Error reading Gora records: null
2016-10-02 22:55:54,605 INFO  mapred.MapTask (MapTask.java:flush(1460)) - Starting flush of map output
2016-10-02 22:55:54,614 INFO  mapred.LocalJobRunner (LocalJobRunner.java:runTasks(456)) - map task executor complete.
2016-10-02 22:55:54,615 WARN  mapred.LocalJobRunner (LocalJobRunner.java:run(560)) - job_local874667143_0001
java.lang.Exception: java.lang.RuntimeException: java.util.NoSuchElementException
    at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.lang.RuntimeException: java.util.NoSuchElementException
    at org.apache.gora.mapreduce.GoraRecordReader.nextKeyValue(GoraRecordReader.java:122)
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:556)
    at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80)
    at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.util.NoSuchElementException
    at java.util.concurrent.ConcurrentSkipListMap.firstKey(ConcurrentSkipListMap.java:2036)
    at org.apache.gora.memory.store.MemStore.execute(MemStore.java:128)
    at org.apache.gora.query.impl.QueryBase.execute(QueryBase.java:73)
    at org.apache.gora.mapreduce.GoraRecordReader.executeQuery(GoraRecordReader.java:67)
    at org.apache.gora.mapreduce.GoraRecordReader.nextKeyValue(GoraRecordReader.java:109)
    ... 12 more
2016-10-02 22:55:55,383 INFO  mapreduce.Job (Job.java:monitorAndPrintJob(1360)) - Job job_local874667143_0001 running in uber mode : false
2016-10-02 22:55:55,385 INFO  mapreduce.Job (Job.java:monitorAndPrintJob(1367)) -  map 0% reduce 0%
2016-10-02 22:55:55,387 INFO  mapreduce.Job (Job.java:monitorAndPrintJob(1380)) - Job job_local874667143_0001 failed with state FAILED due to: NA
2016-10-02 22:55:55,396 INFO  mapreduce.Job (Job.java:monitorAndPrintJob(1385)) - Counters: 0
Exception in thread "main" java.lang.RuntimeException: job failed: name=, jobid=job_local874667143_0001
    at org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:119)
    at org.apache.nutch.fetcher.FetcherJob.run(FetcherJob.java:205)
    at org.apache.nutch.fetcher.FetcherJob.fetch(FetcherJob.java:251)
    at org.apache.nutch.fetcher.FetcherJob.run(FetcherJob.java:314)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.nutch.fetcher.FetcherJob.main(FetcherJob.java:321)

これは、Nutch と Gora の奥深くで発生するため、なぜ発生するのかわかりません。Gora 0.8 にアップグレードしようとしましたが、同じ問題が発生しました。Gora を 0.6 にダウングレードしてみましたが、同じ問題です。hBase のような別のデータ ストアに切り替えたいと思っていましたが、現時点で必要なものには少しやり過ぎです。

これを理解するのを手伝ってください。

4

1 に答える 1

4

問題が MemStore にあることを確認しました。

0.6.1 にはバグがあります: https://github.com/apache/gora/blob/apache-gora-0.6.1/gora-core/src/main/java/org/apache/gora/memory/store /MemStore.java#L128

それはすでにマスターで解決されています: https://github.com/apache/gora/blob/master/gora-core/src/main/java/org/apache/gora/memory/store/MemStore.java#L155、 #firstKey() へのアクセスにはガード #isEmpty() があります

ただし、Gora 0.7-SNAPSHOT に更新しようとしないでください。Nutch は現在、Gora に適応していません。

編集

Nutch 2.x で Gora-0.7-SNAPSHOT を使用したい場合は、次のようにして動作させることができます。

  1. バージョン 0.7 の Gora の master ブランチをダウンロードする-SNAPSHOT
  2. gora mvn install/ で実行して、maven のローカル リポジトリにインストールします。
  3. このパッチを Nutch: https://paste.apache.org/jjqzに適用して、Nutch 2.3.1 が Gora 0.7-SNAPSHOT で動作するようにします。
  4. Nutch のチュートリアルを実行する

私はそれがうまくいくことを願っています:)

編集 2

HBase の使用については、実験用にローカルにインストールするのは非常に簡単です。

  1. Nutch2Tutorialに記載されているように、 HBase 0.98.8-hadoop2をダウンロードします。
  2. ディレクトリ内の tar.gz ファイルを膨張させます。次に例を示します。/home/you/hbase
  3. cd /home/you/hbase/bin
  4. ./start-hbase.sh

これで、HBase が稼働しています。ナットを構成します。

ivy/ivy.xml: HBase の ivy 依存構成に関する @Emmanuel のコメントを参照してください。

gora.properties:

gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
gora.datastore.autocreateschema=true
gora.datastore.scanner.caching=100

Nutch-site.xml:

<configuration>
<property>
 <name>storage.data.store.class</name>
 <value>org.apache.gora.hbase.store.HBaseStore</value>
 <description>Default class for storing data</description>
</property>
</configuration>

終わり。HBase のすべてのデフォルト構成を使用します: localhost、/tmp/...、blablabla

于 2016-10-03T18:16:25.583 に答える