28 個のファイルを持つバケットがあり、それらを異なるテーブル (バケット内のファイルごとに 1 つのテーブル) にロードしたいと考えています。
バケット内の各ファイルは次のようになります。
file_1_2020.csv
file_2_2020.csv
..
file_28_2020.csv
テーブルにファイル名 + _table の最初の 6 文字が含まれていることを望みます (それらはすべてヘッダー付きの csv です)。たとえば、file_1_table.
ブログで、バケット内のすべてのファイルをリストする連合クエリを作成することでこれを達成できると読みました。次に、すべての名前をループして、必要なテーブルを作成できます。問題は、私が GCP で読んだドキュメントはすべて Cloud SQL でのクエリのフェデレーションに関するものであるため、BigQuery にバケットを読み取らせる方法がよくわかりません。
どうすればこれを達成できますか? フェデレーテッド クエリで実行されているかどうかは重要ではありません (ただし、新しいことを知り、学ぶことは常に良いことなので、知りたいと思います)。また、テーブルを各ファイルの最初の列である datetime でパーティション分割およびクラスター化したいと思います (各ファイルのスキーマはdatetime:TIMESTAMP,col1:FLOAT,col2:FLOAT)