2

nutch を実行しようとすると、次のエラーが表示されます。hbase-0.94.0 をインストールして実行しています。hadoop も問題なく実行されています。${NUTCH_HOME}/runtime/local/lib に hbase-0.94.0.jar が存在します。次のエラーが表示されます。依存関係に問題があるようですが、かなり行き詰まっています。ありがとう

./nutch inject /tmp/seed.txt
InjectorJob: starting
InjectorJob: urlDir: /tmp/seed.txt
2012-09-11 22:02:14.097 java[7636:1903] Unable to load realm info from SCDynamicStore
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HColumnDescriptor.setMaxVersions(I)V
    at org.apache.gora.hbase.store.HBaseMapping$HBaseMappingBuilder.addFamilyProps(HBaseMapping.java:114)
    at org.apache.gora.hbase.store.HBaseStore.readMapping(HBaseStore.java:545)
    at org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:113)
    at org.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102)
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161)
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:135)
    at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:69)
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:243)
    at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:268)
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:288)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:298)
4

3 に答える 3

1

これはhbase-0.90.5で動作します。nutch2とhbase-0.94を使用する場合、問題またはその他の構成を追加する必要があると思います。*

于 2012-09-12T11:34:59.277 に答える
1

これは最近よく見られる互換性の問題です。Apache Gora が Apache HBase 0.98.x 以降を採用するのを待つだけです。一方、以下に説明する回避策があります。

Apache Nutch 2.2.1 は、古い Apache HBase 0.90.x のみをサポートする Apache Gora 0.3 を使用します。現時点で Nutch 2.2.x を使用するには、次のことを行う必要があります。

  1. 公式の Git ブランチ 2.x から新しい Nutch を複製、構成、ビルドします。

  2. 私のバージョンの Apache HBase 0.94.24-hadoop-2.5.0 を複製してビルドします。

Apache HBase の互換性に関するドキュメントを読んで、任意の Hadoop リリース用に独自のバージョンを構築する方法を理解することもできます。

そして、完全な情報を得るには、Apache Gora 0.3 の同様の問題を見てください。

私のテスト済みの作業スタックは次のとおりです。

  • Gora 0.4 を使用する 2.x git ブランチの Apache Nutch。
  • Apache Hbase 0.94.24-hadoop-2.5.0;
  • Apache Hadoop 2.5.0。
于 2014-09-14T07:00:27.857 に答える
0

コマンドで 0.94.1 を指定して nutch2.0 を実行すると、nosuchmethod になり、Eclipse では java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration になります。jarまたはconfigクラスパスをコピーしますが。それは仕事ではありません。今度は 90.5 に変更します。うまくいくことを願っています。

于 2012-09-19T03:12:31.787 に答える