問題タブ [gora]

初めてnutchを実行しようとしていますが、実行中に

/bin/nutch 生成 -topN 5

次の例外が発生します。

hadoop.log からのスタック トレースは次のとおりです。

私はここのチュートリアルに従ってきました: https://github.com/renepickhardt/metalcon/wiki/simpleNutchSolrSetupでナットをセットアップします。

同様の例外を含むstackoverflowとnutchアーカイブに関するいくつかの投稿を見たことがありますが、/tmpディレクトリのディスク容量が不足している可能性があることを示唆していますが、/tmpディレクトリには約8MBのデータしかありません. これ以外に、この例外の原因についてはわかりません

この例外の原因は何ですか?

データストアとしてHBase 1.1.3とともにNutch 2.3.1を使用しており、Ubuntu 15.10で実行しています

ありがとう

を使用して apache gora コンパイラを実行しようとすると、次のエラーが発生します ./gora goracompiler

Error: Could not find or load main class org.apache.gora.compiler.cli.GoraCompilerCLI

その前に、JAVA_HOME が設定されていないエラーが発生した後、JAVA_HOME 変数を設定してそのエラーを解決しました

OS: Cent OS 6.5 Java version : java version "1.7.0_45" OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15) OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)

生成/注入/解析/フェッチ中に時間がかかる（またはハングする）理由について、さまざまなSOスレッドを読みましたが、うまくいきませんでした。私が実装しようとした次のSOスレッドの解決策ですが、うまくいきません。

1) Nutch 2.1 urls インジェクションには永遠に時間がかかります

2)インジェクタージョブの後、Nutch 2.2.1 が続行しない

と他のさまざまなスレッド。

Nutch2.3.1 と HBase0.94.27 を使用しています。私はこれとこのチュートリアルに従ってきましたが、正常にビルドできました。しかし、nutch コマンドを実行すると、ハングアップします。

以下は、これらのコマンドの実行中に取得したログです:-

インジェクト コマンド

コマンドの生成

フェッチ コマンド

解析コマンド

更新コマンド

以下は HBase ログです:-

Hadoop.log

正確には何が問題なのですか。すべてを正しく構成しましたが、それでもハングアップします。どうして

ここで説明されているように、Eclipse で実行されている MacOS 10.11.5 (El Capitan) でローカルの Nutch 2.3.1 インスタンスを構成しました: https://wiki.apache.org/nutch/RunNutchInEclipse

使用するデータ ストアとして、ローカルの MacOS マシンでも実行されている MongoDB 2.6.12 を構成しました。ここから Gora の設定を取得しました: http://www.aossama.com/search-engine-with-apache-nutch-mongodb-and-elasticsearch/

アイビー.xml

gora.properties

gora-mongodb-mapping.xmlは変更していません。

nutch-site.xml

inject コマンドを実行すると、hadoop.logに次の紛らわしい結果が表示されます。

2日後、私はアイデアを使い果たしました。

ログ ファイル内で、有益なヒントを特定できません。MongoDB のログには、接続の試行は表示されません (アクティブな接続は言うまでもありません)。mongoI'm can to connect to the database を使用して http://localhost:27017 を要求すると、予想されるメッセージ ( 「ネイティブ ドライバー ポートで HTTP 経由で MongoDB にアクセスしようとしているようです。」 ) と対応するログ ファイル エントリが表示されます。データストアを Cassandra に切り替えると、インジェクションは期待通りに機能するので、Nutch 自体も機能するようです。

私が何を見逃しているか、または hadoop.log が私に伝えようとしていることを理解している人はいますか?

どんな助けでも大歓迎です！どうも。

更新: Ubuntu 14.04 サーバーでもこの構成を使用しようとしましたが、期待どおりに動作します。したがって、私の問題は、Mac 上で実行されている Nutch と MongoDB 間の接続に関連していると思います。（誰かが知りたい場合：サーバー接続を必要とせずにローカル開発を行いたいので、Macで構成を機能させようとしています。）

Gora 0.6.1 を使用する Apache Nutch 2.3.1 をすぐに実行しています。ここの指示に従いました: http://wiki.apache.org/nutch/RunNutchInEclipse

で問題なく動きましたInjectorJob。

現在、私は を実行しておりFetcherJob、Gora はMemStoreデータ ストアとして使用しています。gora.properties含んでいます

これはスローします：

これは、Nutch と Gora の奥深くで発生するため、なぜ発生するのかわかりません。Gora 0.8 にアップグレードしようとしましたが、同じ問題が発生しました。Gora を 0.6 にダウングレードしてみましたが、同じ問題です。hBase のような別のデータ ストアに切り替えたいと思っていましたが、現時点で必要なものには少しやり過ぎです。

これを理解するのを手伝ってください。