0

私はaws初心者で、ClouderaのAMIを介してEC2でHadoopを実行しようとしています。AMIをインストールし、cloudera-haddop-for-ec2-toolsをダウンロードして、設定しようとしています

haddop-ec2-env.sh

それは次のことを求めています：

AWS_ACCOUNT_ID
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
EC2_KEYDIR
PRIVATE_KEY_PATH

実行時：

./hadoop-ec2 launch-cluster my-cluster 10

私は得ています

AWS was not able to validate the provided access credentials

まず、自分のアカウントの最初の3つの属性があります。これは企業アカウントであり、メールのアクセスキーIDとシークレットアクセスキーが記載されたメールを受け取りました。私のアカウントに、ここで必要なことを実行するための適切な権限がない可能性はありますか。正確に、このスクリプトに私の資格情報が必要なのはなぜですか？それは何をする必要がありますか？

次に、EC2キーディレクトリはどこにありますか？Amazonが作成したkey.pemファイルをアップロードし、それを.pemファイルのPRIVATE_KEY_PATHとchmod400にハードコーディングしました。これは、このスクリプトに必要な正しいキーですか？

何か助けていただければ幸いです。

サム

4

1 に答える 1

1

cloudera ec2ツールは、amazonec2apiツールに大きく依存しています。したがって、次のことを行う必要があります。

1） http://aws.amazon.com/developertools/351からamazonec2apiツールをダウンロードします

2） http://cloudera-packages.s3.amazonaws.com/cloudera-for-hadoop-on-ec2-0.3.0.tar.gzからclouderaec2ツールをダウンロードします

3）次の環境変数を設定します。Unixベースの例のみを示しています。

export EC2_HOME=<path-to-tools-from-step-1>
export $PATH=$PATH:$EC2_HOME/bin
export $PATH=$PATH:<path-to-cloudera-ec2-tools>/bin
export EC2_PRIVATE_KEY=<path-to-private-key.pem>
export EC2_CERT=<path-to-cert.pem>

4）cloudera-ec2-tools/binで次の変数を設定します

AWS_ACCOUNT_ID=<amazon-acct-id>
AWS_ACCESS_KEY_ID=<amazon-access-key>
AWS_SECRET_ACCESS_KEY=<amazon-secret-key>
EC2_KEYDIR=<dir-where-the-ec2-private-key-and-ec2-cert-are>
KEY_NAME=<name-of-ec2-private-key>

そして、実行します

$ hadoop-ec2 launch-cluster my-hadoop-cluster 10

これにより、複数のec2マシン上に10個のノードを持つ「my-hadoop」と呼ばれるHadoopクラスターが作成されます

于 2012-10-03T19:52:54.920 に答える