2

Hadoop をインストールして作成した EC2 イメージがあります。ただし、インスタンス化時にロールレスになるように設定しました (スレーブでもマスターでもありません)。Hadoop クラスターを開始するために、EC2 で必要な数のインスタンス (ノード) を起動します。次に、各ノードに対して次の 3 つのことを行う必要があります。

  1. /etc/hosts を更新して、必要な IP アドレスを含めます。
  2. マスター ノードの場合、$HADOOP_HOME/conf/masters と $HADOOP_HOME/conf/slaves を変更します。
  3. ノード間の SSH アクセスを有効にします。

これを自動的に行う方法を見つけて、任意の数のノードに対して、各ノードでこれらすべての設定を行う必要がないようにしたいと考えています。

他の人は Hadoop クラスターの自動セットアップをどのように処理していますか? ネットワーク部分を自動化する方法はありますか?

毎回IPアドレスが違うのでできるかどうかはわかりませんが、他の人が何を試したのか、よく使われているものを知りたいです。これらのプロセスを自動化して、テスト用にクラスターをセットアップするたびに、すべてのノードに対してこれらを行う必要がないようにする良い方法はありますか? Linux スクリプトについてはよくわかりませんが、これはスクリプトで可能ですか? それとも、すべてのノードを手動で構成する必要がありますか?

4

2 に答える 2

0

私はHadoopの経験はありませんが、一般的に「構成管理」と呼ばれる仕事です。一般に、いくつかの「レシピ」を作成し、サーバーの「ロール」(マスター、スレーブ) を定義します。このような役割には、サービス、インストールされるパッケージ、ホスト名の変更、SSH キーなどの構成ファイルが含まれる場合があります。サーバーが最初に起動した後、サーバーがどの役割になるべきかを指定すると、自動的にインストールされます。

これらのタスクに使用できるさまざまなツールがあり、例としてPuppetやSaltがあります。ウィキペディア で利用可能な比較があります。

于 2012-10-15T13:58:23.970 に答える