問題タブ [hadoop-yarn]

ウェブサイトhttp://hadoop.apache.org/docs/current2/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.htmlから最初の例を実行しようとしました

以下は私のコードです

しかし、アプリケーションIDを取得できます。アプリケーションをヤーンに送信しますが、アプリケーションは常に失敗します。マスターでノードマネージャーのログを確認すると、これらのエラーが見つかりました

PC A で例を実行しますが、PC B で Hadoop をデプロイし、jar は PC A にあります。

調査した後、私はそれを修正することはできません.しかし、いくつか質問があります.
1) jar を hdfs にアップロードする必要がありますか? 必要に応じて、何をすべきかを知っています
2) 糸の原理を理解するだけです。アプリケーションを送信したい場合は、jar をマスターにアップロードする必要がありますか? jar ファイルをマスターのローカル ファイル システムにアップロードできますか? できれば、パスを設定する方法は?

Hadoop 0.23.9 バージョンの Hadoop Cluster をインストールしました。HDFS-1943.patch をインストールすると、namenode と datanode をすべて起動できるようになりました。(start-dfs.sh は私のために働いています)

ただし、糸デーモン (start-yarn.sh を実行) を開始したい場合、以前の発生と同じように次のエラーが表示されます。

すでにパッチをインストールしており、start-dfs.sh が機能しています。start-yarn.sh が機能しないのはなぜですか??

私の YARN クラスターのノードには、64 GB のメモリと 24 のコアがあります。yarn-site.xml で次のプロパティを設定します。

しかし、ノードの nodemanager にはまだ 7 つのコンテナーしかないことがわかりました。設定する必要があるその他のプロパティは何ですか?

Yarn は完全なリソース マネージャーであり、もはや MapReduce 固有のものではないことがわかりました。同じクラスターで Web アプリと MapReduce ジョブを実行できるということですか? たとえば、http サービスの 12 個のインスタンスを実行すると、Yarn がそれらを fork して終了させることはできますか? そうでない場合、適切なクラスター リソース マネージャーは何でしょうか?

交換と Giraph をスタックするのは初めてなので、間違いを見逃さず、明確な質問があれば質問してください。

OS: Ubuntu 13.10

Hadoop/Yarn: hadoop-2.2.0/ (2 ノード クラスター)

Giraph: 1.0.0 (編集: トランク)

次の例を実行しようとすると、NullPointerException (NPE) が発生します。

$ hadoop jar $GIRAPH_HOME/giraph-examples/target/giraph-examples-1.1.0-SNAPSHOT-for-hadoop-2.2.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph. examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hduser/rrdata/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/rrdata/出力/tiny_graph.out -w 1

スタックトレース：

スレッド「メイン」での例外 java.lang.NullPointerException at org.apache.giraph.yarn.GiraphYarnClient.checkJobLocalZooKeeperSupported(GiraphYarnClient.java:460) at org.apache.giraph.yarn.GiraphYarnClient.run(GiraphYarnClient.java:116) at org.apache.giraph.GiraphRunner.run(GiraphRunner.java:96) で org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) で org.apache.hadoop.util.ToolRunner.run(ToolRunner. java:84) org.apache.giraph.GiraphRunner.main(GiraphRunner.java:126) で sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) で sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) でorg.apache.hadoop.util の java.lang.reflect.Method.invoke(Method.java:606) の .reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)RunJar.main(RunJar.java:212)

どうやら飼育員関係のようです。Zookeeper をインストールしましたが、構成が間違っているように見える前に使用していませんでした。関連するオプションを試してみまし-Dgiraph.zkList=hostname:portたが、「認識されないオプション」例外が発生します。

このシナリオに適した飼育係の設定を探しています。わかりましたら返信を差し上げます。

この記事に従って、Ubuntu 12.04 LTS に Hadoop 2.2.0 をデプロイしました。

最後のステップで Hadoop の例を実行しようとしたときを除いて、すべて問題ありません。Job Running というメッセージが表示されて一時停止します。

ResourceManager Web GUI で、「App is Pending」と表示されます。では、どのように実行状態に変更できますか?

スクリーンショット: http://farm8.staticflickr.com/7344/11031415055_d987e937aa_o.png

ありがとうございます！:)

Hadoop mapreduce ソースを Eclipse にインポートして、いじくり回すことができるようにしたいと考えています。

http://wiki.apache.org/hadoop/EclipseEnvironmentのドキュメントは、Eclipse で hdfs をセットアップするのに最適ですが、mapreduce の手順は機能しません (ルート ディレクトリとして hadoop-mapreduce-project ディレクトリを選択し、 hadoop-mapreduce-project プロジェクトを選択します -> しかし、選択する mapreduce プロジェクトはありません)。

きれいにビルドするためにこれを設定した人はいますか？