1

EMR でクラスターを起動しました

設定あり:

user: AdministratorPolicy (access all)
keypairs: yes
sandbox: Zeppelin
Application: Spark 1.5.0, Hadoop 2.6.0
IAM: defaultEMRRole
Bootstrap Action: no
IAM users: all
steps: no

次に、ローカル マシンで次のアドレスの Zeppelin UI を取得します。

instance-public-dns:8890

成功した

新しいノートブックを作成: 実行

sc

戻る

res42: org.apache.spark.SparkContext =org.apache.spark.SparkContext@523b1d4c

次に、S3 から Spark にデータをロードしようとします

sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId","++")
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey","++")
var textFile = sc.textFile("s3n://<instance>/<bucket-name>/pagecounts-20081001-070000")
textFile.first()

その後、エラーが発生します

com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied; Request ID: FD784A9D96A0D54A), S3 Extended Request ID: oOgHwbN8tW2TIxpgagPIZ+NpsTmymzh6wiJ2a6zYhD8XeiH3pHVKpTOeYXOS0dzgBGqKsjr+ls8=
at com.amazonaws.http.AmazonHttpClient.handleErrorResponse(AmazonHttpClient.java:1182)
at com.amazonaws.http.AmazonHttpClient.executeOneRequest(AmazonHttpClient.java:770)
at com.amazonaws.http.AmazonHttpClient.executeHelper(AmazonHttpClient.java:489)
4

1 に答える 1

0

「fs.s3n.awsAccessKeyId」または「fs.s3n.awsSecretAccessKey」を設定する必要はありません。それらを設定せずに、「s3n」の代わりに「s3」を使用してみてください。

var textFile = sc.textFile("s3:////pagecounts-20081001-070000") textFile.first()

于 2015-10-17T16:56:57.997 に答える