ビッグ データ処理用の Azure HDInsight クラスターに取り組んでいます。数日前、多くのファイルをマージして、ハイブにパーティション化され、バケット化されたテーブルを作成しました。
Azure にはクラスターを停止するオプションがないため、コストを節約するためにクラスターを削除する必要がありました。データは、Azure ストレージ アカウントに個別に格納されます。同じストレージ アカウントを使用して新しいクラスターを作成すると、HDFS コマンドを使用してデータベースとテーブルを表示できますが、ハイブはそのデータベースまたはテーブルを読み取ることができません。ハイブにそれに関するメタデータがない可能性があります。
私が残した唯一のオプションは、これらのパーティション分割およびバケット化されたファイルをすべて単一のファイルにマージしてから、テーブルを再度作成することです。そのテーブルを別のデータベースに移行したり、移行しやすくするためにマージしたりする方法はありますか??