1

Hadoop / Yarn 2.x(具体的にはv0.23.3)を疑似分散モードでセットアップしました。

私は、多かれ少なかれそれを設定するための同じ処方箋を提供するいくつかのブログとウェブサイトの指示に従いました。また、O'reillyのHadoop本の第3版(皮肉なことに最も役に立たなかった)もフォローしました。

問題:

After running "start-dfs.sh" and then "start-yarn.sh", while all of the daemons
do start (as indicated by jps(1)), the Resource Manager web portal
(Here: http://localhost:8088/cluster/nodes) indicates 0 (zero) job-nodes in the
cluster. So while submitting the example/test Hadoop job indeed does get
scheduled, it pends forever because, I assume, the configuration doesn't see a
node to run it on.

Below are the steps I performed, including resultant configuration files.
Hopefully the community help me out... (And thank you in advance).

構成:

次の環境変数は、myとhadoopのUNIXアカウントプロファイルの両方に設定されています。〜/ .profile:

export HADOOP_HOME=/home/myself/APPS.d/APACHE_HADOOP.d/latest
  # Note: /home/myself/APPS.d/APACHE_HADOOP.d/latest -> hadoop-0.23.3

export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_INSTALL=${HADOOP_HOME}
export HADOOP_CLASSPATH=${HADOOP_HOME}/lib
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop/conf
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop/conf
export JAVA_HOME=/usr/lib/jvm/jre

hadoop $ java -version

java version "1.7.0_06-icedtea<br>
OpenJDK Runtime Environment (fedora-2.3.1.fc17.2-x86_64)<br>
OpenJDK 64-Bit Server VM (build 23.2-b09, mixed mode)<br>

# Although the above shows OpenJDK, the same problem happens with Sun's JRE/JDK.

etc / hadoop / conf / hdfs-site.xmlでも指定されているNAMENODEおよびDATANODEディレクトリ:

/home/myself/APPS.d/APACHE_HADOOP.d/latest/YARN_DATA.d/HDFS.d/DATANODE.d/
/home/myself/APPS.d/APACHE_HADOOP.d/latest/YARN_DATA.d/HDFS.d/NAMENODE.d/

次に、さまざまなXML構成ファイル(ここでもYARN / MRv2 / v0.23.3):

hadoop$ pwd; ls -l
/home/myself/APPS.d/APACHE_HADOOP.d/latest/etc/hadoop/conf
lrwxrwxrwx 1 hadoop hadoop   16 Sep 20 13:14 core-site.xml -> ../core-site.xml
lrwxrwxrwx 1 hadoop hadoop   16 Sep 20 13:14 hdfs-site.xml -> ../hdfs-site.xml
lrwxrwxrwx 1 hadoop hadoop   18 Sep 20 13:14 httpfs-site.xml -> ../httpfs-site.xml
lrwxrwxrwx 1 hadoop hadoop   18 Sep 20 13:14 mapred-site.xml -> ../mapred-site.xml
-rw-rw-r-- 1 hadoop hadoop   10 Sep 20 15:36 slaves
lrwxrwxrwx 1 hadoop hadoop   16 Sep 20 13:14 yarn-site.xml -> ../yarn-site.xml

core-site.xml

<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost/</value>
  </property>
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>

  <!-- Same problem whether this (legacy) stanza is included or not.  -->
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:8021</value>
  </property>

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

hdfs-site.xml

<!-- hdfs-site.xml -->
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/myself/APPS.d/APACHE_HADOOP.d/YARN_DATA.d/HDFS.d/NAMENODE.d</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/myself/APPS.d/APACHE_HADOOP.d/YARN_DATA.d/HDFS.d/DATANODE.d</value>
  </property>
</configuration>

ヤーンサイト.xml

<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8032</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/home/myself/APPS.d/APACHE_HADOOP.d/YARN_DATA.d/TEMP.d</value>
  </property>
</configuration>

etc / hadoop / conf / saves

localhost
   # Community/friends, is this entry correct/needed for my psuedo-dist mode?

その他のまとめのメモ:

(1) As you may have gleaned from above, all files/directories are owned
    by the 'hadoop' UNIX user. There is a hadoop:hadoop, UNIX User and
    Group, respectively.

(2) The following command was run after the NAMENODE & DATANODE directories
    (listed above) were created (and whose paths were entered into
    hdfs-site.xml):

    hadoop$ hadoop namenode -format

(3) Next, I ran "start-dfs.sh", then "start-yarn.sh".
    Here is jps(1) output:

hadoop@e6510$ jps
    21979 DataNode
    22253 ResourceManager
    22384 NodeManager
    22156 SecondaryNameNode
    21829 NameNode
    22742 Jps

ありがとうございました!

4

2 に答える 2

0

この問題に多くの労力を費やして成功しなかった後(そして私がすべてを試したと信じて)、私は別のソリューションを使用してHadoopを開始しました。上記では、ダウンロードミラーの1つからhadoopディストリビューション(ここでもv0.23.3)のgzip / tarボールをダウンロードしましたが、今回は、YUMリポジトリを介してインストールしたRPMパッケージのCalderaCDHディストリビューションを使用しました。これが誰かを助けることを願って、ここに詳細なステップがあります。

ステップ1:

Hadoop 0.20.x(MapReduceバージョン1)の場合:

  # rpm -Uvh http://archive.cloudera.com/redhat/6/x86_64/cdh/cdh3-repository-1.0-1.noarch.rpm
  # rpm --import http://archive.cloudera.com/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
  # yum install hadoop-0.20-conf-pseudo

-また-

Hadoop 0.23.x(MapReduceバージョン2)の場合:

  # rpm -Uvh http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.noarch.rpm
  # rpm --import http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
  # yum install hadoop-conf-pseudo

上記のどちらの場合も、その「疑似分散Hadoop」モード(「疑似分散Hadoop」モードの略)をインストールすると、必要な他のすべての必要なパッケージのインストールが(依存関係の解決を介して)便利にトリガーされます。

ステップ2:

Sun /OracleのJavaJREをインストールします(まだインストールしていない場合)。提供されているRPM、またはgzip/tarボールポータブルバージョンを介してインストールできます。「JAVA_HOME」環境を適切に設定およびエクスポートし、$ {JAVA_HOME} / bin / javaがパスに含まれていることを確認する限り、どちらでも構いません。

  # echo $JAVA_HOME; which java
  /home/myself/APPS.d/JAVA-JRE.d/jdk1.7.0_07
  /home/myself/APPS.d/JAVA-JRE.d/jdk1.7.0_07/bin/java

注:実際には、「latest」というシンボリックリンクを作成し、JAVAを更新するたびにJAVAバージョン固有のディレクトリをポイント/再ポイントします。私は読者の理解のために上記で明示しました。

手順3:hdfsを「hdfs」Unixユーザー(上記の「yuminstall」で作成)としてフォーマットします。

  # sudo su hdfs -c "hadoop namenode -format"

ステップ-4:

hadoopデーモンを手動で起動します。

  for file in `ls /etc/init.d/hadoop*`
  do
  {
     ${file} start
  }
  done

ステップ-5:

物事が機能しているかどうかを確認します。以下はMapReducev1の場合です(この表面的なレベルでのMapReduce v2の場合はそれほど違いはありません)。

  root# jps
   23104 DataNode
   23469 TaskTracker
   23361 SecondaryNameNode
   23187 JobTracker
   23267 NameNode
   24754 Jps

   # Do the next commands as yourself (not as "root").
   myself$ hadoop fs -mkdir /foo
   myself$ hadoop fs -rmr /foo
   myself$ hadoop jar /usr/lib/hadoop-0.20/hadoop-0.20.2-cdh3u5-examples.jar pi 2 100000

これがお役に立てば幸いです。

于 2012-09-27T01:06:18.510 に答える
0

ノエル、

私は先日、このチュートリアルhttp://www.thecloudavenue.com/search?q=0.23の手順に従い、3Centos6.3マシンの小さなクラスターをセットアップすることができました。

于 2012-11-14T00:34:01.153 に答える