1

2 ノードの Hadoop 0.2.2 クラスターがあります。私が起動する最初のマシンで：

  • 名前ノード
  • データノード
  • ノードマネージャー
  • リソースマネージャー
  • ジョブ履歴サーバー

2 番目に、namenode を除くすべてのものも開始します。

  • データノード
  • ノードマネージャー
  • リソースマネージャー
  • ジョブ履歴サーバー

私mapred-site.xmlの両方のマシンには以下が含まれています：

<property>
  <name>mapred.job.tracker</name>
  <value>firstMachine:54311</value>
</property>

両方のマシンの私の core-site.xml には以下が含まれます。

<property>
   <name>fs.default.name</name>
   <value>hdfs://firstMachine:9000</value>
</property>

のコンソールは、http://firstMachine:500702 つのノードを報告します。

 Live Nodes     :   2 (Decommissioned: 0)

ただし、コンソールhttp://firstMachine:8088（マップを含むコンソールはジョブ履歴などをすべて削減します）は、次のように言い続けます：

Active Nodes: 1

また、2 台目のマシンの有無に関係なく map reduce を実行すると、Hadoop はほぼ同じパフォーマンスを発揮します。4 つの大きなファイルを使用して、wordcout の例で試してみました。

私の質問は、私の map reduce が起動されたマシンだけでなく、複数 (この場合は 2 台) のマシンで実際に実行されているかどうかを確認するにはどうすればよいですか?

Hadoop map reduce が実際に他の Hadoop インスタンスを認識しない場合、それを表示するにはどうすればよいですか (2 台のマシンで map reduce を実行するように構成するにはどうすればよいですか) ?

4

1 に答える 1

2

わかりました、私は答えを見つけました。どうやらバージョン 2.2 では、mapred に関連していたもののほとんど (すべて?) が yarn に移動されたようです。そのため、mapred-site.xml ファイルを使用する代わりに、yarn-site.xml ファイルを使用して、以下を追加する必要がありました。

<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>firstMachine</value>
</property>

(ポートを追加する必要はなかったことに注意してください。ここではホストのみを宣言します。ポートはデフォルト値で使用されます)。

現在、コンソールには 2 つのアクティブなノードが表示され、map/reduce ジョブは約 20% 高速です。

于 2013-11-08T14:54:33.907 に答える