5

私のマネージャーは、Amazon インスタンスと ppk を提供してくれました。ログインできる; Hadoop をインストールしようとしています。masters および slaves ファイルを localhost から EC2 インスタンス名に編集し、必要なプロパティを mapred-site.xml/hdfs-site.xml/core-site.xml ファイルに追加し、namenode を HDFS にフォーマットするなど、必要な構成変更を行いました。 . ここで、start-dfs.sh スクリプトを実行すると、次のエラーが発生します。namenode を開始し、/home/ubuntu/hadoop/libexec/../logs/hadoop-ubuntu-namenode-domU-12-31-39-07-60-A9.out にログを記録します。ホスト 'XXX.amazonaws.com の信頼性(一部の IP)' を確立できません。

接続を続行しますか (はい/いいえ)? はい XXX.amazonaws.com: 警告: 「XXX.amazonaws.com」(ECDSA) が既知のホストのリストに永久に追加されました。XXX.amazonaws.com: 許可が拒否されました (公開鍵)。XXX.amazonaws.com: 許可が拒否されました (公開鍵)。

現時点では、マスター ノードとスレーブ ノードは同じマシンになります。

XXX はインスタンス名で、一部の IP はその IP です。セキュリティ上の理由からそれらをマスキングします。

EC2インスタンス、SSHなどの使用についてはまったくわかりません。単純なMapReduceプログラムを実行するだけで済みます。

よろしくお願いします。

4

1 に答える 1

4

Hadoop は SSH を使用してマスターからスレーブに情報を転送します。ノードが SSH 経由で相互に通信しようとしているようですが、そのように構成されていません。通信するために、Hadoop マスター ノードはスレーブ ノードへのパスワードなしの SSH アクセスを必要とします。パスワードレスは、ジョブを実行しようとするたびにスレーブ ノードごとにパスワードを再入力する必要がないので便利です。それはかなり面倒です。続行する前に、ノード間でこれを設定する必要があるようです。

このガイドを確認して、「SSH の構成」というセクションを見つけることをお勧めします。これを達成する方法を説明します。

于 2013-01-21T14:15:41.917 に答える