1

Hadoop を実行する 3 台の Centos マシンのみのクラスターを管理する必要があります。scp構成ファイルを他の 2 台のマシンにコピーするだけで十分です。

ただし、Hadoop クラスターを 10 台以上のマシンにセットアップする必要があります。を使用してファイルを何度も同期するのは本当にイライラしますscp。

ファイルをすべてのマシンに簡単に同期できるツールを見つけたいです。また、マシン名は次のような構成ファイルで定義されます。

node1
node2
...
node10

ありがとう。

4

4 に答える 4

1

Zookeeper を使用したくない場合は、hadoop スクリプトを変更して、$HADOOP_HOME/bin/hadoop次のようなものを追加できます。

if [ "$COMMAND" == "deployConf" ]; then
  for HOST in `cat $HADOOP_HOME/conf/slaves`
    do
       scp $HADOOP_HOME/conf/mapred-site.xml $HOST:$HADOOP_HOME/conf
       scp $HADOOP_HOME/conf/core-site.xml $HOST:$HADOOP_HOME/conf
       scp $HADOOP_HOME/conf/hdfs-site.xml $HOST:$HADOOP_HOME/conf
    done
    exit 0
fi

それが私が今使っているもので、仕事をしています。

于 2013-08-26T16:16:30.370 に答える
0

InfoSphere BigInsights を使用する場合は、スクリプト syncconf.sh があります。

于 2015-09-07T19:58:49.380 に答える