3

Athena を介して KMS-CSE で暗号化されたデルタ形式のデータセットの読み取りがサポートされているのだろうか?

暗号化のサポートについては何も言及していないhttps://docs.delta.io/0.5.0/presto-integration.htmを調べていました。

マニフェスト自体を s3 で KMS-CSE を使用して暗号化した場合、Athena で正常に読み取ることができますか?

以下のコマンドで、アテナにテーブルを作成できます。

CREATE EXTERNAL TABLE `delta_athena_demo`(
  `id` bigint)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://testing/_symlink_format_manifest/'
TBLPROPERTIES (
  'has_encrypted_data'='true')

ただし、クエリを実行すると、次のエラーが発生します。

クエリに次のエラーがあります:

HIVE_UNKNOWN_ERROR: 暗号化されたオブジェクトが検出されました。テーブル プロパティに TBLPROPERTIES (has_encrypted_data=true) を追加してください。

(delta-users@googlegroups.com にあります)

4

1 に答える 1

1

AWS Athena サポートに連絡したところ、現時点では Athena が暗号化されたシンボリック リンク テキスト入力形式のマニフェストからの読み取りをサポートしていないことが確認されました。彼らは、これを将来の機能要求と見なす可能性があります。

于 2020-01-21T19:53:23.540 に答える