マシンに疑似分散 Hadoop クラスターをセットアップしようとしています。環境の詳細: ホスト OS: Windows ゲスト OS: Ubuntu
- Vm の 1 つのマスターと 1 つのスレーブを作成しました。
- 単一ノード クラスタで Hadoop ワードカウントを正常に実行できました
- しかし、スレーブを追加しようとすると、datanode、jobtracker、namenode、およびセカンダリ namenode はマスターで正常に起動しますが、スレーブではデータ ノードが起動しません。
- スレーブに ping を実行し、マスターから ssh を使用してスレーブにログインできます。
- /etc/host ファイルには、両方の vm に正しいエントリが含まれています
- VM の静的 IP を取得するために、NAT とホスト オンリー アダプターを使用しています。
マスター ノード = zenda1
スレーブ ノード = ゼンダ
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://zenda1:9000</value>
</property>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>zenda1:9001</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
主人
zenda1
スレーブ
zenda1
Zenda
Hadoop フォルダーは、マスター ノードとスレーブ ノードの diff の場所 (フォルダーの場所) にあります。