1

AWS Athena を使用して、データを日ごとにパーティション分割した S3 バケットにクエリを実行しています。パーティションはday=yyyy/mm/ddのようになります。Glue を実行してパーティションを毎日更新しようとすると、毎日新しいテーブルが作成されます (sync 2017、約 1500 テーブル)。

次のようにパーティション射影を使用しようとしました:

PARTITIONED BY ( 
  day string)

TBLPROPERTIES (
  'has_encrypted_data'='false', 
  'projection.day.format'='yyyy/mm/dd', 
  'projection.day.interval'='1', 
  'projection.day.interval.unit'='DAYS', 
  'projection.day.range'='2017/01/01,NOW', 
  'projection.day.type'='date', 
  'projection.enables'='true'

しかし、パーティションは MSCK 修復なしでは更新されません。何か案は?パーティション プロジェクションで何か見落としがありますか?

4

2 に答える 2