0

NutchTutorial に従って基本的なクロールを実行しようとしています:

bin/nutch crawl urls -dir crawl -depth 3 -topN 5

したがって、Nutch をすべてインストールし、Solr でセットアップしました。$JAVA_HOME を.bashrctoに設定しました/usr/lib/jvm/java-1.6.0-openjdk-amd64。

Nutch のホーム ディレクトリから実行しても問題はありませんbin/nutchが、上記のようにクロールを実行しようとすると、次のエラーが表示されます。

log4j:ERROR setFile(null,true) call failed.
java.io.FileNotFoundException: /usr/share/nutch/logs/hadoop.log (Permission denied)
        at java.io.FileOutputStream.openAppend(Native Method)
        at java.io.FileOutputStream.<init>(FileOutputStream.java:207)
        at java.io.FileOutputStream.<init>(FileOutputStream.java:131)
        at org.apache.log4j.FileAppender.setFile(FileAppender.java:290)
        at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:164)
        at org.apache.log4j.DailyRollingFileAppender.activateOptions(DailyRollingFileAppender.java:216)
        at org.apache.log4j.config.PropertySetter.activate(PropertySetter.java:257)
        at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:133)
        at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:97)
        at org.apache.log4j.PropertyConfigurator.parseAppender(PropertyConfigurator.java:689)
        at org.apache.log4j.PropertyConfigurator.parseCategory(PropertyConfigurator.java:647)
        at org.apache.log4j.PropertyConfigurator.configureRootCategory(PropertyConfigurator.java:544)
        at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:440)
        at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:476)
        at org.apache.log4j.helpers.OptionConverter.selectAndConfigure(OptionConverter.java:471)
        at org.apache.log4j.LogManager.<clinit>(LogManager.java:125)
        at org.slf4j.impl.Log4jLoggerFactory.getLogger(Log4jLoggerFactory.java:73)
        at org.slf4j.LoggerFactory.getLogger(LoggerFactory.java:270)
        at org.slf4j.LoggerFactory.getLogger(LoggerFactory.java:281)
        at org.apache.nutch.crawl.Crawl.<clinit>(Crawl.java:43)
log4j:ERROR Either File or DatePattern options are not set for appender [DRFA].
solrUrl is not set, indexing will be skipped...
crawl started in: crawl
rootUrlDir = urls
threads = 10
depth = 3
solrUrl=null
topN = 5
Injector: starting at 2013-06-28 16:24:53
Injector: crawlDb: crawl/crawldb
Injector: urlDir: urls
Injector: Converting injected urls to crawl db entries.
Injector: total number of urls rejected by filters: 0
Injector: total number of urls injected after normalization and filtering: 1
Injector: Merging injected urls into crawl db.
Exception in thread "main" java.io.IOException: Job failed!
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1357)
        at org.apache.nutch.crawl.Injector.inject(Injector.java:296)
        at org.apache.nutch.crawl.Crawl.run(Crawl.java:132)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.nutch.crawl.Crawl.main(Crawl.java:55)

このサーバーのほぼすべてで実行する必要があるため、ファイルのアクセス許可に関係があるのではないかと思いますsudoが、同じクロール コマンドを実行すると、次のsudoようになります。

Error: JAVA_HOME is not set.

だから、ここでキャッチ22の状況が起こっているように感じます. このコマンドを で実行できるようにするsudo必要がありますか、または で実行する必要がなく、それがsudo機能するようにするために他に何かする必要がありますか、それともここでまったく別のことが起こっていますか?

4

2 に答える 2

1

通常のユーザーとして、に書き込む権限がないよう/usr/share/nutch/logs/hadoop.logです。これは、セキュリティ機能として理にかなっています。

これを回避するには、単純な bash スクリプトを作成します。

#!/bin/sh
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64
bin/nutch crawl urls -dir crawl -depth 3 -topN 5

として保存しnutch.sh、次のように実行しsudoます。

sudo sh nutch.sh
于 2013-06-28T21:54:01.317 に答える
0

この問題を解決する鍵は、環境にJAVA_HOME変数を追加することsudoです。たとえば、envandと入力すると、 が に設定されていないsudo envことがわかります。これを解決するには、パスを追加する必要があります。JAVA_HOMEsudo

  1. 実行sudo visudoしてファイルを編集し/etc/sudoersます。(標準のテキスト エディタは使用しないでください。この特別な vi テキスト エディタは、保存する前に構文を検証します。)

  2. 次の行を追加します。

    Defaults env_keep+="JAVA_HOME"

    セクションの終わりにDefaults env_keep。

  3. リブート
于 2015-03-31T21:02:26.613 に答える