Spark を使用してファイルを S3 に ORC 形式で書き込みます。また、Athena を使用してこのデータをクエリします。
次のパーティション キーを使用しています。
s3://bucket/company=1123/date=20190207
Glue クローラーを実行してバケットで実行すると、パーティション キーの種類を除いて、すべてが期待どおりに機能します。
クローラーは、カタログでそれらをStringタイプではなくタイプとして構成しますint
パーティション キーの既定の種類を定義する構成はありますか?
後で手動で変更できることを知っており、クローラー構成をAdd new columns only.