ウェブサーバーからのデータ (パイプで区切られた値) を使用して、2 ～ 3 分ごとに新しいログ ファイルを Google Cloud Storage バケットに書き込みます。1 つの Google Cloud Storage バケットに最大 1 MB のファイルが数千あり、すべてのファイルを BigQuery テーブルにロードしたいと考えています。
「bq load」コマンドには個々のファイルが必要なようで、バケット全体またはプレフィックス付きのバケットを取得できません。
gs バケットに何千ものファイルをロードする最良の方法は何ですか? バケット名またはバケットと BigQuery のプレフィックスを指定するのではなく、すべてのファイルの URI を取得する必要がありますか?