bigquery で複数の大きなテーブルを (結合して) 非正規化できますか?
Table1 は 400M 行 Table2 は 2M 行 Table3 は 800K 行
そうでない場合、アップロードする前にリレーショナル データベースで行う必要がありますか? それは難しい解決策でしょう。
テーブルを小さな断片にチャンクし、テーブルに対して結合の繰り返しを実行して、常に大きいものから小さいものへと変更する必要がありますか? これも難しい解決策になります。
ありがとうございました。
bigquery で複数の大きなテーブルを (結合して) 非正規化できますか?
Table1 は 400M 行 Table2 は 2M 行 Table3 は 800K 行
そうでない場合、アップロードする前にリレーショナル データベースで行う必要がありますか? それは難しい解決策でしょう。
テーブルを小さな断片にチャンクし、テーブルに対して結合の繰り返しを実行して、常に大きいものから小さいものへと変更する必要がありますか? これも難しい解決策になります。
ありがとうございました。
BigQuery は、JOIN クエリで LIMIT をスキップできる「Big JOIN」をサポートするようになりました。
ドキュメントはこちら: https://developers.google.com/bigquery/docs/query-reference#joins
はい、クエリ結果に基づいて新しいテーブルを作成できます。
ここを見てみてください:
https://developers.google.com/bigquery/docs/queries
そしてここ:
https://developers.google.com/bigquery/docs/tables#addmoredata