0

私はhadoopが初めてです。mapred 構成に記載されているローカル ディレクトリとシステム ディレクトリがあります。エラー ログに、ディレクトリを作成できないと表示されているため、起動に失敗しました。 

root@SYS-01:/etc/hadoop/conf.apt_hyperspace# ls -l /hyperspace/dfs/
total 8
drwxr-xr-x 2 mapred hadoop 4096 2013-05-24 16:25 mapred
drwxr-xr-x 5 hdfs   hadoop 4096 2013-05-24 15:45 nn

mapred-site.xml

<configuration>

<property>
 <name>mapred.local.dir</name>
 <value>/hyperspace/dfs/mapred</value>
</property>

<property>
 <name>mapred.job.tracker</name>
 <value>SYS-01:9101</value>
</property>

<property>
 <name>mapred.system.dir</name>
 <value>hdfs://hyperspace/mapred</value>
</property>

</configuration>

エラー - 

    2013-05-24 16:25:54,964 INFO org.apache.hadoop.mapred.TaskTracker: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting TaskTracker
STARTUP_MSG:   host = SYS-01/10.15.21.42
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 0.20.2-cdh3u6
STARTUP_MSG:   build = file:///data/1/tmp/nightly_2013-03-20_11-32-44_3/hadoop-0.20-0.20.2+923.479-1~lucid -r efb405d2aa54039bdf39e0733cd0bb9423a1eb0a; compiled by 'root' on Wed Mar 20 13:10:08 PDT 2013
************************************************************/
2013-05-24 16:25:55,084 INFO org.apache.hadoop.util.NativeCodeLoader: Loaded the native-hadoop library
2013-05-24 16:25:55,384 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2013-05-24 16:25:55,440 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter)
2013-05-24 16:25:55,460 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker local dir /hyperspace/dfs/mapred error can not create directory: /hyperspace/dfs/mapred, removing from local dirs
2013-05-24 16:25:55,461 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because org.apache.hadoop.util.DiskChecker$DiskErrorException: No mapred local directories are writable
        at org.apache.hadoop.mapred.TaskTracker$LocalStorage.checkDirs(TaskTracker.java:265)
        at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1633)
        at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3940)

2013-05-24 16:25:55,462 INFO org.apache.hadoop.mapred.TaskTracker: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down TaskTracker at SYS-01/10.195.241.242
************************************************************/
4

1 に答える 1

-1

ディレクトリ dfs のパーミッションを確認しましたか。テスト インスタンスを実行していて、権限を 777 に変更して問題を修正しました。

于 2014-11-25T09:12:58.747 に答える