約 200 個のハイブ パーケット テーブルを必要とするユース ケースがあります。これらの寄木細工のテーブルをフラット テキスト ファイルから読み込む必要があります。ただし、フラット テキスト ファイルから直接 parquet テーブルを読み込むことはできません。だから私は次のアプローチを使用しています
- 一時的なマネージド テキスト テーブルを作成しました。
- テキストデータを含む一時テーブルをロードしました。
- 外部寄木細工のテーブルを作成しました。
- 選択クエリを使用して、寄木細工のテーブルとテキスト テーブルを読み込みました。
- 一時テキスト テーブルのテキスト ファイルを削除しました (ただし、テーブルはメタストアに保持します)。
このアプローチは、一時的なメタデータ (200 テーブル分) をメタストアに保持しているためです。したがって、2番目のアプローチは、hdfsからのテキストファイルとともに一時テキストテーブルもドロップすることです。次回は一時テーブルを再作成し、寄木細工が作成されたら削除します。
ここで、2 時間ごとに 200 個のテーブルすべてに対して上記の手順に従う必要があるため、メタストアからテーブルを作成および削除すると、運用中にクラスター内の何かに影響しますか?
一時的なメタデータをメタストアに保持し、Hive メタストアからテーブル (メタデータ) を作成および削除することで、本番環境に影響を与える可能性のあるアプローチはどれですか?