2

Cloudera の Quickstart Docker コンテナーを使用して、単純な Hadoop/Hive ジョブをテストしようとしています。S3 のデータに対してジョブを実行できるようにしたいのですが、これまでのところ問題があります。

以下のプロパティを core-site.xml、hive-site.xml、hdfs-site.xml に追加しました。

  <property>
    <name>fs.s3.awsAccessKeyId</name>
    <value>XXXXXX</value>
  </property>

  <property>
    <name>fs.s3.awsSecretAccessKey</name>
    <value>XXXXXX</value>
  </property>

とにかく、Hive で S3 の場所を指す外部テーブルを作成しようとすると、次のエラーが発生します。

FAILED: SemanticException java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3 URL, or by setting the fs.s3.awsAccessKeyId or fs.s3.awsSecretAccessKey properties (respectively).
4

2 に答える 2

1

今までに問題を解決していただければ幸いですが、誰かがこのリンクを参照する場合は役立つかもしれません

すべての xml ファイルに Accesskey と secretAccesskey を追加した後、クエリで指定された s3 の場所が「s3 ://」である必要があることを確認する必要があります。

于 2017-06-20T18:15:06.987 に答える