s3 から大量の json ファイルを使用するスペクトルのユースケースがあります。まず、Glue クローラーを使用してデータをクロールし、データ カタログを作成しました。次に、そのカタログを使用して、Glue データベースを参照する外部スキーマを作成し、カタログにアクセスできるようにしました。これで、ルート レベルの文字列に対して select ステートメントを実行できるようになりました。
select t.id from glue_db.test t
問題は、構造体オブジェクトに対して select ステートメントを実行すると、「列 't.actor.name' のタイプの解析中にエラーが発生しました」というエラーが発生することです。select の例を次に示します (id はアクター構造体内の文字列です)。
select t.actor.name from glue_db.test t
私は何が欠けていますか？また、json を寄木細工に変換しようとしましたが、ネストされたデータをクエリしようとして同じ問題が発生しています。
グルーテーブルの定義は次のとおりです。
アクターの構造体は次のとおりです。
