0

次のようなEMRを介してHiveテーブルを作成しました

create external table tests3(
transaction_id String,
order_id String,
user_id String,
amount String,
subscriber_number String,
product_type String,
provider String,
region String,
status String,
created_time String,
last_updated_time BIGINT,

)
row format 
    serde 'org.openx.data.jsonserde.JsonSerDe'
location 's3://locationtobucket';

select * from tests3 を実行すると、 records が取得されます。しかし、tez タスクを実行すると、次のエラーが表示されます。

Query : select count(*) from tests3;

Vertex failed, vertexName=Map 1, vertexId=vertex_1513582536692_0022_1_00
, diagnostics=[Vertex vertex_1513582536692_0022_1_00 [Map 1] killed/failed due to:ROOT_INPUT_INIT_FAILURE, Vertex Input: tests3 initializer fail
ed, vertex=vertex_1513582536692_0022_1_00 [Map 1], com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Bad Req
uest (Service: Amazon S3; Status Code: 400; Error Code: 400 Bad Request; Request ID: DEBA2E241B9DE8C3),
4

2 に答える 2

0

アカウントに S3 とアクセスしようとしているバケットへの適切なアクセス許可があるかどうかを確認してください。また、S3 バケットの URL が正しいかどうかを確認します (例: s3://locationtobucket/missingfile)。

標準的な最初のステップは、次のようなコマンドを使用して、同じ資格情報で AWS コマンドライン ツールを使用してみることです。

hdfs fs -ls s3a://locationtobucket/

于 2017-12-27T08:58:29.357 に答える