0

新しい Ubuntu 12.04 VM (Virtualbox) をセットアップしたばかりで、Hadoop をテストしたかったのです。私はこのガイドに従っています: http://hadoop.apache.org/docs/r0.20.2/quickstart.html

JavaのインストールとJAVA_HOMEパスに何か問題があると思います...現在、bin/hadoopは常に「コマンドが見つかりません」を返します

Hadoop フォルダーはどこで抽出する必要がありますか?

事前に SSH をセットアップする必要がありますか? SSHDはどうですか？

正しい Java バージョンをインストールするコマンドは何ですか?

hadoop-env.sh ファイルには正確に何を入力する必要がありますか?

ありがとう！

4

3 に答える 3

2

この素晴らしいチュートリアルを使用しました。唯一の変更点は、デフォルトのJava6をインストールしたことです...

Hadoop を設定するための Michael Noll チュートリアル

于 2012-11-23T12:33:25.817 に答える
1

  • Hadoop 実行時の「コマンドが見つかりません」というエラーは、JAVA_HOME に関連するものではありません。Hadoop ホーム ディレクトリからこのコマンドを実行していないと思います (別の方法として、hadoop/bin へのフル パスを PATH に追加することもできます)。

  • 好きな場所にhadoopフォルダーを抽出できます

  • hadoop-env.sh の場合、Java インストールのホーム ディレクトリを指すように JAVA_HOME 変数を設定する必要があります。たとえばexport JAVA_HOME=/home/jdk1.6.0/ 、環境を反映するようにこのパスを変更します。

  • 分散環境または疑似分散環境で Hadoop を実行する場合は特に、SSH と SSHD が必要になります。

  • Hadoop には Java 1.6+ が必要です。ここからjdk-7u9-linux-i586.tar.gz をダウンロードして、インストール ガイドに従ってください(解凍するだけで十分です)。

于 2012-11-12T05:48:15.177 に答える
0

Hadoop Hive Scoop と PIG のインストール

手順に従って、上記のアプリケーションをインストールします。注 : 追加のユーザーは必要ありません。既存のシステムで作業することができます。

  1. Haddop 2.7.1、PIG、Sqoop、Hive をダウンロード

     http://www.us.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz   

 http://www.us.apache.org/dist/pig/pig-0.13.0/pig-0.13.0.tar.gz      

 http://www.us.apache.org/dist/sqoop/1.4.6/ sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz   

 http://www.eu.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz

  2. /home/mypc/hadoop-soft というフォルダーに解凍します --> cd hadoop-soft

    hive -->  /home/mypc/hadoop-soft/hive
sqoop --> /home/mypc/hadoop-soft/sqoop
pig   --> /home/mypc/hadoop-soft/pig
hadoop --> /home/mypc/hadoop-soft/hadoop

これらのフォルダーにサブフォルダーを作成せず、それぞれの bin フォルダーを表示できることを確認してください。

  1. これらのフォルダを /usr/lib に移動しましょう

     sudo mkdir /usr/lib/hadoop

 sudo mv sqoop/ /usr/lib/hadoop/
 sudo mv pig/ /usr/lib/hadoop/
 sudo mv hive/ /usr/lib/hadoop/
 sudo mv hadoop-2.6/ /usr/lib/hadoop/

  2. .bashrc ファイルを編集してパスを追加します: ファイルの最後に次の行を追加します

    ここで更新しているので、 Java_path ステートメントがあれば削除します。

    Java がインストールされていて、以下の場所に存在するかどうかを確認します。はいの場合は問題ありません。そうでない場合は、google install java n ubuntu が必要です

     sudo gedit ~/.bashrc

.bashrc の最後に次の行を追加します

     export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
     export HADOOP_HOME=/usr/lib/hadoop/hadoop-2.6
     export HIVE_HOME=/usr/lib/hadoop/hive
     export PIG_HOME=/usr/lib/hadoop/pig
     export SQOOP_HOME=/usr/lib/hadoop/sqoop

    export HADOOP_MAPRED_HOME=/usr/lib/hadoop/hadoop
    export HADOOP_COMMON_HOME=/usr/lib/hadoop/hadoop
    export HADOOP_HDFS_HOME=/usr/lib/hadoop/hadoop
    export HADOOP_YARN_HOME=/usr/lib/hadoop/hadoop  
    export HADOOP_CONF_DIR=/usr/lib/hadoop/hadoop/etc/hadoop

    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin::$PIG_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin

  1. このファイルを保存して閉じます。これで、更新が反映されるように実行することができます。

    source ~/.bashrc

6. namenode と datanode の 2 つのディレクトリを作成します。

cd /usr/lib
sudo mkdir hdfs
cd hdfs
sudo mkdir namenode
sudo mkdir datanode
sudo chmod 777 -R namenode
sudo chmod 777 -R datanode

  1. $HADOOP_HOME に移動し、いくつかのファイルを編集します。

    cd $HADOOP_HOME
cd etc/hadoop/

    A. sudo gedit yarn-site.xml : これらの行を < configuration> < /configuration> 内に追加します

    <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
    • ファイルを保存して閉じる

    B. sudo gedit core-site.xml : これらの行を < configuration> < /configuration> 内に追加します

    <property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
    • ファイルを保存して閉じます。

C. sudo gedit hdfs-site.xml : <~configuration> <~/configuration> 内にこれらの行を追加します

    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/lib/hdfs/namenode</value>
    </property>
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/lib/hdfs/datanode</value>
    </property>
  • ファイルを保存して閉じる

D. sudo gedit mapred-site.xml :これらの行を追加します

     <?xml version="1.0"?>
      <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
     </property> 
    </configuration>

注：これは新しいファイルになります。- 保存して閉じます。

  1. namenode のフォーマット hdfs namenode -format

  2. /usr/lib/hdfs に移動し、開始スクリプトと停止スクリプトを作成します

    cd /usr/lib/hdfs
sudo mkdir scripts
sudo chmod 777 -R scripts
cd scripts
sudo gedit hadoopstart.sh

これらの行を書きます

    /usr/lib/hadoop/hadoop-2.6/sbin/hadoop-daemon.sh start namenode
    /usr/lib/hadoop/hadoop-2.6/sbin/hadoop-daemon.sh start datanode
    /usr/lib/hadoop/hadoop-2.6/sbin/yarn-daemon.sh start resourcemanager
    /usr/lib/hadoop/hadoop-2.6/sbin/yarn-daemon.sh start nodemanager
    /usr/lib/hadoop/hadoop-2.6/sbin/mr-jobhistory-daemon.sh start historyserver

  • 保存して閉じます。

    sudo gedit hadoopstop.sh

これらの行を書きます

    /usr/lib/hadoop/hadoop-2.6/sbin/hadoop-daemon.sh stop namenode
    /usr/lib/hadoop/hadoop-2.6/sbin/hadoop-daemon.sh stop datanode
    /usr/lib/hadoop/hadoop-2.6/sbin/yarn-daemon.sh stop resourcemanager
    /usr/lib/hadoop/hadoop-2.6/sbin/yarn-daemon.sh stop nodemanager
    /usr/lib/hadoop/hadoop-2.6/sbin/mr-jobhistory-daemon.sh stop historyserver

-保存して閉じます。

  1. これらのファイルを実行して、ローカル モードで Hadoop を開始および停止します。

始めること

     sh /usr/lib/hdfs/scripts/hadoopstart.sh

止まる

     sh /usr/lib/hdfs/scripts/hadoopstop.sh

  1. Hadoop が実行されているかどうかを確認します: 開始スクリプトの実行後

    hadoop version
hadoopp fs -ls /

Open http://localhost:50070 to see if name node is running.

  2. を使用してさまざまなサービスを実行します：ターミナル上

    Pig
sqoop
hive
于 2015-10-13T12:48:27.927 に答える