2

Cygwinを搭載したWindows7でHadoop0.22.0を使用して、疑似分散構成でHadoopgrepの例を実行しようとしています。この例はスタンドアロンモードでは正常に機能しますが、疑似分散モードで実行すると、次の出力が得られます。

$ bin/hadoop jar hadoop-mapred-examples-0.22.0.jar grep input output 'dfs[a-z.]+'

12/05/15 08:27:31 WARN conf.Configuration: mapred.used.genericoptionsparser is deprecated. Instead, use mapreduce.client.genericoptionsparser.used
12/05/15 08:27:31 WARN mapreduce.JobSubmitter: No job jar file set.  User classes may not be found. See Job or Job#setJar(String).
12/05/15 08:27:31 INFO input.FileInputFormat: Total input paths to process : 1
12/05/15 08:27:32 INFO mapreduce.JobSubmitter: number of splits:1
12/05/15 08:27:33 INFO mapreduce.Job: Running job: job_201205150826_0001
12/05/15 08:27:34 INFO mapreduce.Job:  map 0% reduce 0%
12/05/15 08:27:47 INFO mapreduce.Job: Task Id : attempt_201205150826_0001_m_000002_0, Status : FAILED
java.lang.Throwable: Child Error
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:225)
Caused by: java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:212)

12/05/15 08:27:47 WARN mapreduce.Job: Error reading task outputhttp://xxx.xxx.xxx:50060/tasklog?plaintext=true&attemptid=attempt_201205150826_0001_m_000002_0&filter=stdout

Javaチャイルドエラーの原因を知っている人はいますか、またはタスク出力に関する警告を読み取ることができませんか?

TaskTrackerログに次のエラーが表示されます。

Failed to retrieve stdout log for task: attempt_201205151356_0001_m_000002_0
java.io.FileNotFoundException: C:\cygwin\usr\local\hadoop-0.22.0\logs\userlog\job_201205151356_0001\attempt_201205151356_0001_m_000002_0\log.index (The system cannot find the file specified)
4

4 に答える 4

1

システムで使用可能なメモリの量を超える構成を指定すると、このエラーが発生します。指定したタスクスロットの数と、各子JVMのヒープサイズを確認してください。

于 2012-05-18T20:57:34.057 に答える
1

hadoopは現在バージョン1.0.xであるため、これがまだ関連しているかどうかはわかりません。

それが助けになるなら、私はcygwin-1.7win-7jdk1.7_x64に1.0.1を移植することができました。

ここでは、パスの混乱、シェルスクリプトとラッパー、HadoopコアJavaコード、およびJavaがcygwinシンボリックリンクを理解しないという重要な事実を中心に多くの問題が発生しています。

完全に機能する修正の手順は次のとおりです。

http://en.wikisource.org/wiki/User:Fkorning/Code/Hadoop-on-Cygwin

最新バージョン(これは1.0.1でした)を移植したいので、パッチを当てたコードをまだアップロードしていませんが、これもsourceforgeにあります。

http://sourceforge.net/p/win-hadoop/wiki/Hadoop-on-Cygwin/

于 2012-06-14T12:56:24.430 に答える
0

hadoopは必要なすべてのディレクトリに書き込むことができますか?mapred.local.dirやhadoop.tmp.dirのように?それは問題を引き起こす可能性があります

于 2012-06-13T23:49:37.937 に答える
0

これは、logsディレクトリが大きくなると発生します。

于 2013-05-16T20:46:24.193 に答える