pyspark - 配列または構造体としての AWS Glue Resolve 列の選択

Question

次の問題を解決する方法についてのアイデアが不足しています。Glue データ カタログのテーブルには、次のスキーマがあります。

root
|-- _id: string
|-- _field: struct
|    |-- ref: choice
|    |    |-- array
|    |    |    |-- element: struct
|    |    |    |    |-- value: null
|    |    |    |    |-- key: string
|    |    |    |    |-- name: string
|    |    |-- struct
|    |    |    |-- value: null
|    |    |    |-- key: choice
|    |    |    |    |-- int
|    |    |    |    |-- string
|    |    |    |-- name: string

refを使用して選択を解決しようとすると

resolved = (
     df.
        resolveChoice(
            specs = [('_field.ref','cast:array')]
        )
)

私は記録を失います。

私がどのようにできるかについてのアイデア：

1. またはで_field.refあるかどうかでDataFrameをフィルタリングしますarraystruct
2. structレコードを に、arrayまたはその逆に変換する