問題タブ [hadoop-yarn]

3 つのクラスターで hadoop2.2.0 をセットアップしました。すべてがうまくいっています。NodeManager と Datanode は、各クラスターで開始されます。しかし、wordcount の例を実行すると、100% のマッピングが行われ、次の例外が発生します。

私は解決策を見つけるためにインターネットを調べました。しかし、私は見つけることができませんでした。手伝ってください。

私はHadoopと姉妹プロジェクトをいじっており、途中でいくつかの問題がありましたが、最終的に答えが見つからない問題にぶつかりました:

タブ区切りのテキスト ファイルとして hdfs に格納されているハイブ テーブルがあります。そして、テーブルで基本的な選択を行うことができますが、クエリをもう少し複雑にするとすぐに、ハイブはそれをマップ削減ジョブに変え、次のスタック トレースで失敗します

13/11/29 08:31:00 エラー security.UserGroupInformation: PriviledgedActionException as:hduser (auth:SIMPLE) 原因:java.io.IOException: ターゲット /tmp/hadoop-> > yarn/staging/hduser/.staging/job_1385633903169_0013 /libjars/lib/lib はディレクトリです 13/11/29 08:31:00 エラー security.UserGroupInformation: PriviledgedActionException as:hduser (auth:SIMPLE) cause:java.io.IOException: Target /tmp/hadoop-yarn/staging /hduser/.staging/job_1385633903169_0013/libjars/lib/lib はディレクトリですorg.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:500) の org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:502) java:348) org.apache.hadoop.fs にあります。FileUtil.copy(FileUtil.java:338) org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:289) org.apache.hadoop.mapreduce.JobSubmitter.copyRemoteFiles(JobSubmitter.java:139) org .apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:212) org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300) org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter) java.security. org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) org.apache.hadoop.mapreduce.Job.submit(Job.java:1265) で org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:562) で org.apache.hadoop.mapred. JobClient$1.run(JobClient.java:557) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation .doAs(UserGroupInformation.java:1491) org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:557) org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:548) org. apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:425) org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:144) org. apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:151) org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:65) で org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1414) で org .apache.hadoop.hive.ql.Driver.execute(Driver.java:1192) org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1020) at org.apache.hadoop.hive.ql org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259) の .Driver.run(Driver.java:888) org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java) :216) org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413) で org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:781) で org.apache. hadoop.hive.cli.CliDriver.run(CliDriver.java:675) org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) で sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) で sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) で sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) でjava.lang.reflect.Method.invoke(Method.java:606) で org.apache.hadoop.util.RunJar.main(RunJar.java:212) でジョブの送信が例外 'java.io.IOException(Target / tmp/hadoop-yarn/staging/hduser/.staging/job_1385633903169_0013/libjars/lib/lib はディレクトリです)' 13/11/29 08:31:00 エラー exec.Task: ジョブの送信が例外 'java.io. IOException(Target /tmp/hadoop-yarn/staging/hduser/.staging/job_1385633903169_0013/libjars/lib/lib はディレクトリです)' java.io.IOException: Target /tmp/hadoop-yarn/staging/hduser/.staging/job_1385633903169_0013/libjars/lib/lib は、org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:502) の org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:500) にあるディレクトリです。 org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:348) で org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:338) で org.apache.hadoop.fs.FileUtil.copy で(FileUtil.java:289) org.apache.hadoop.mapreduce.JobSubmitter.copyRemoteFiles(JobSubmitter.java:139) org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:212) org.apache. hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300) org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387) org.apache.hadoop.mapreduce.Job$10.run(Job.java) :1268) org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265) で java.security.AccessController.doPrivileged(ネイティブメソッド) で javax.security.auth.Subject.doAs(Subject.java:415) ) org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) で org.apache.hadoop.mapreduce.Job.submit(Job.java:1265) で org.apache.hadoop.mapred.JobClient$1 .run(JobClient.java:562) at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:557) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject. doAs(Subject.java:415) org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:557) org.org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:425) の org.apache.hadoop.hive の apache.hadoop.mapred.JobClient.submitJob(JobClient.java:548)。 ql.exec.mr.MapRedTask.execute(MapRedTask.java:144) at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:151) at org.apache.hadoop.hive.ql. org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1414) の exec.TaskRunner.runSequential(TaskRunner.java:65) org.apache.hadoop.hive.ql.Driver.execute(Driver. java:1192) org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1020) で org.apache.hadoop.hive.ql.Driver.run(Driver.java:888) で org.apache org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216) org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413) で org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:781) で org.apache.hadoop .hive.cli.CliDriver.run(CliDriver.java:675) org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) で sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) で sun org.apache. hadoop.util.RunJar.main(RunJar.java:212)org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) で org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675) で executeDriver(CliDriver.java:781) sun.reflect.NativeMethodAccessorImpl.invoke0 (ネイティブ メソッド) でorg.apache.hadoop.util.RunJar.main(RunJar.java:212) の .invoke(Method.java:606)org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) で org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675) で executeDriver(CliDriver.java:781) sun.reflect.NativeMethodAccessorImpl.invoke0 (ネイティブ メソッド) でorg.apache.hadoop.util.RunJar.main(RunJar.java:212) の .invoke(Method.java:606)org.apache.hadoop.util.RunJar で java.lang.reflect.Method.invoke(Method.java:606) で sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) で (NativeMethodAccessorImpl.java:57) を呼び出す.main(RunJar.java:212)org.apache.hadoop.util.RunJar で java.lang.reflect.Method.invoke(Method.java:606) で sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) で (NativeMethodAccessorImpl.java:57) を呼び出す.main(RunJar.java:212)

問題のフォルダーは、少なくとも「/tmp/hadoop-yarn/staging」の部分である dfs に存在し、そのパーミッションを何に設定しても、ハイブまたは Hadoop はジョブの送信時にそれらをリセットします。本当に懸念されるのは、フル パスが生成されたフォルダー名のように見えることです。では、ソフトウェアが独自に生成したものに問題があるのはなぜでしょうか? パスがディレクトリであることはなぜ問題なのですか? そして、それはむしろ何であるべきですか？

編集:これが私が使用しているテーブルと実行しようとしているクエリです:クエリ: select * from hive_flow_details where node_id = 100 limit 10;

テーブル：

col_name data_type コメント id bigint なし
flow_versions_id int なし
node_id int なし
node_name string なし

これは、Hive がそれを MR ジョブに変換するため、where 句を含むあらゆる種類の uery に発生することを覚えておいてください。

私は Linux を使用していますが、aspectj の jar ファイルが表示されないため、アスペクトを糸に追加する方法に興味があります。理想的には、Fault Injection Framework ( http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/FaultInjectFramework.html ) を使用したいのですが、いくつかあるかどうかはわかりませんバイナリでこれを行う方法、または手動で追加する必要がありますか。

ソースコードを変更しようとしていて、変更を加える前に呼び出されるメソッドを確認したいので、糸の中でcflow( http://schuchert.wikispaces.com/AspectJ+CFlowExplained ) を使用したい.

http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.htmlから Yarn チュートリアルを複製しようとしています。

実際には、CDH4.3 で実行するにはいくつかの変更が必要でした。次のようにクラッシュします。

クラッシュするまでのコードは次のとおりです。

そこの最後の行は、上記の例外をトリガーします。

Hadoop ヤーンを新しくインストールし、指定された jar ファイルを介して wordcount の例を実行しましたが、 wordcount ソースhadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples...をコンパイルして実行しようとすると、.java.io.IOException: No FileSystem for scheme: hdfs

上記の例外は、次のコード行に関連しています。

編集:コマンドと出力は次のとおりです。

Hadoop を正常に起動できないようです。Hadoop 0.23.9 を使用しています。

ここに私のcore-site.xmlがあります：

そして私のhdfs-site.xml：

および mapred-site.xml:

持っているすべてのドキュメントに目を通しましたが、hadoop を正しく開始する方法がわかりません。hadoop-0.23.9 に関するドキュメントがオンラインで見つかりません。私の Hadoop の本は 0.22 用に書かれています。オンライン ドキュメントは 2.1.1 用で、偶然にも作業できませんでした。

Hadoop を正しく開始する方法を教えてください。

Hadoop をマスターするための第一歩を踏み出しています。分散モードで CDH4.5 をセットアップしました (2 つの仮想マシン上)。YARN を使用した MapReduce ジョブの実行に問題があります。(CDH の例から) DistributedShell アプリケーションを正常に起動できましたが、MapReduce ジョブを実行すると、そこに永遠にハングアップします。

これは私が起動しようとしているものです:

これらは、最後のリソース マネージャーのログ行です。

ジョブを実行すると、ノード マネージャのログに新しいメッセージが表示されません。

これは、ジョブに関するリソース マネージャーの Web ページに表示されるものです。

それぞれが異なるバージョンの Hadoop を実行している 2 つのクラスターがあります。Classic Map Reduce Framework では実現できなかった複数のアプリケーションを同時に実行する機能を YARN がどのように提供するかを理解する必要があるため、私は POC に取り組んでいます。

Hadoop Classic: wordcount.jar ファイルがあり、1 つのクラスター (2 つのマッパーと 2 つのリデューサー) で実行されます。私は並行して 2 つのジョブを開始しました。幸運に開始された方が最初に両方のマッパーを取得し、タスクを完了してから 2 番目のジョブが開始されました。これは予期される動作です。

Hadoop Yarn: 同じ wordcount.jar と別のクラスター (4 コア、合計 4 台のマシン)。Yarn はマッパーとレデューサーを事前に割り当てないため、任意のコアをマッパーまたはレデューサーとして使用できます。ここでも、2 つのジョブを並行して送信しました。予想される動作: 両方のジョブは、それぞれ 2 つのマッパーで開始するか、リソース マネージャーが割り当てた構成で開始する必要がありますが、少なくとも両方のジョブを開始する必要があります。

現実: 1 つのジョブは 3 つの mapper と 1 つの reducer から始まります。2 番目のジョブは、最初のジョブが完了するまで待機します。

誰かが動作を理解するのを手伝ってくれますか? また、並列処理の動作はマルチノード クラスタに最もよく反映されていますか?