1

EC2 - S3 または EBS インスタンスで Cloudera Hadoop クラスターをセットアップする方法は? EBS ストレージを持つ EC2 インスタンスの 1 つに Cloudera Manager があります。Cloudera Manager から Hadoop クラスターの作成を開始すると、指定したノード数に従って新しい EC2 インスタンスの作成が開始されます。インスタンスをリクエストしますが、問題は「インスタンスストア」インスタンスを生成することです。

EBS または S3 ストレージを持つ既存のインスタンスを提供するにはどうすればよいですか?

何か案が？

4

2 に答える 2

0

Hadoop は、S3 と EBS の両方でデータを読み書きする方法を提供します。EBS の場合は、インスタンスにディスクをマウントして Hadoop で使用するだけです。

ただし、S3 の場合、後述のように、core-site.xml と hdfs-site.xml でプロパティfs.s3n.awsAccessKeyId と fs.s3n.awsSecretAccessKeyを使用して、Hadoop にアクセス キーと秘密キーを提供するための追加の手順があります。

  <property>
    <name>fs.s3n.awsAccessKeyId</name>
    <value>Access Key</value>
  </property>
  <property>
    <name>fs.s3n.awsSecretAccessKey</name>
    <value>Secret key</value>
  </property>

次に、これを設定した後、次のことができます。

hadoop fs -ls s3n://Bucket_Name/

これにより、S3 バケットで使用可能なフォルダーが出力されます。

于 2015-11-02T10:32:53.277 に答える
0

これは設計によるものです。

Cloudera Manager が EBS に基づく AMI よりもインスタンスストアに基づくインスタンスを好むのはなぜですか? EBS ボリュームは永続的なストレージを提供しますが、ネットワークに接続され、I/O リクエストごとに課金されるため、Hadoop の展開には適していません。EBS-backed インスタンスを試してみたい場合は、いつでもカスタム EBS AMI を使用できます。

ソース

于 2013-08-19T06:04:06.177 に答える