arraysスパークのstructs(複合型)のスキーマ進化の状況は?

通常の単純型の ORC または Parquet のいずれかがかなりうまく機能することはわかっていますが (新しい列を追加)、これまでのところ、目的のケースのドキュメントは見つかりませんでした。

私の使用例は、次のような構造を持つことです。

そして、配列内の構造体に新しいフィールドを追加できるようにしたいと考えています。

Map(キーと値の) 複合型は代わりに非効率を引​​き起こしますか? 少なくとも、新しいフィールド (タグ) を柔軟に追加できると確信しています。

編集

追加の列がありません! なんで？

この動作は、spark 2.2.3_2.11 および 2.4.2_2.12 で評価されました。

Firestore でスキーマの変更を処理するための堅実な戦略を見つけようとしています。私の考えでは、スキーマの変更では、コレクション内のすべてのドキュメント (または別のコレクション内のドキュメント) の読み取りと書き込みが必要になることがよくあります。

ここに私の懸念があります：

• 将来、コレクションがどれだけ大きくなるかはわかりません。1 回のクエリで読み取れるドキュメントの数に制限はありますか?
• 私の現在の計画は、Cloud Build からスキーマ変更スクリプトを実行することです。これがタイムアウトする可能性はありますか？
• 実際の更新を行う最も効率的な方法は何ですか? (例: ドキュメントの読み取り、ドキュメントへの更新の書き込み、繰り返し...)
• バッチ書き込みを使用する必要がありますか?

また、これがスキーマの変更を実装するための完全に間違ったアプローチであると思われる場合は、遠慮なく教えてください。また、より良い解決策を提案してください。

PostgreSQL のスキーマ移行メカニズムを実装する必要があります。あいまいさを取り除くために: schema-migration とは、特定のサーバー インスタンスの現在の状態に関係なく、データベース構造を最新バージョンにアップグレードする必要があることを意味します。

たとえば、バージョン 1 でいくつかのテーブルを作成し、バージョン 2 でいくつかの列の名前を変更し、バージョン 3 で 1 つのテーブルを削除して別のテーブルを作成しました。私は複数のサーバーを持っており、そのうちのいくつかにはバージョン 1 とバージョン 3 などがあります。

私の考え:

• によって生成された出力のハッシュを生成します

pg_dump --スキーマのみ

データベーススキーマを変更する前に毎回。これは、将来、パッチを適用する必要があるデータベースのバージョンを特定するための信頼できる方法です。

• パッチのリストと、それらが適用されるハッシュが関連付けられたものを含みます。
• データベースをアップグレードする必要がある場合、現在のデータベース構造に対応するハッシュを検索するアプリケーションを実行し (ローカル データベースのハッシュを計算し、それを所有しているハッシュ セットと比較することによって)、関連するパッチを適用します。
• 次のハッシュが見つからなくなるまで繰り返します。

このアプローチの弱点を教えてください。