https://downloads.cloudera.com/demo_vm/vmware/cloudera-demo-vm-cdh4.0.0-vmware.tar.gzから VM をダウンロードしました
システムの起動後、以下のサービスが実行されていることがわかりました。
- MRV1 サービス
hadoop-0.20-mapreduce-jobtracker
hadoop-0.20-mapreduce-tasktracker
- MRV2 サービス
hadoop-yarn-nodemanager
hadoop-yarn-resourcemanager
hadoop-mapreduce-historyserver
- HDFS サービス
hadoop-hdfs-namenode
hadoop-hdfs-datanode
単語カウントの例は正常に実行され、期待どおりの出力が生成されます
/usr/bin/hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount input output
ただし、上記は MRv2 - YARN フレームワークを使用して実行されます
私の目標は、MRv1 を使用して実行することです。Cloudera のドキュメントで提案されているように、MRV2 サービスを停止し、/etc/hadoop/conf/mapred-site.xml を編集しました。
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property
「クラシック」へ（「ローカル」も試しました）
<property>
<name>mapreduce.framework.name</name>
<value>classic</value>
</property
MRV1 (jobtracker および tasktracker) を使用して実行することを期待していました。ただし、次のエラーが表示されます。
12/10/10 21:48:39 INFO mapreduce.Cluster: Failed to use org.apache.hadoop.mapred.LocalClientProtocolProvider due to error: Invalid "mapreduce.jobtracker.address" configuration value for LocalJobRunner : "172.30.5.21:8021"
12/10/10 21:48:39 ERROR security.UserGroupInformation: PriviledgedActionException as:cloudera (auth:SIMPLE) cause:java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:121)
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:83)
......
誰かが間違っている可能性があることを提案できますか? エラーが無効な構成を指しているのはなぜですか?