AWS Athena を使用して、データを日ごとにパーティション分割した S3 バケットにクエリを実行しています。パーティションはday=yyyy/mm/ddのようになります。Glue を実行してパーティションを毎日更新しようとすると、毎日新しいテーブルが作成されます (sync 2017、約 1500 テーブル)。
次のようにパーティション射影を使用しようとしました:
PARTITIONED BY (
day string)
TBLPROPERTIES (
'has_encrypted_data'='false',
'projection.day.format'='yyyy/mm/dd',
'projection.day.interval'='1',
'projection.day.interval.unit'='DAYS',
'projection.day.range'='2017/01/01,NOW',
'projection.day.type'='date',
'projection.enables'='true'
しかし、パーティションは MSCK 修復なしでは更新されません。何か案は?パーティション プロジェクションで何か見落としがありますか?