google-bigquery - 大きなクエリでは応答が大きすぎます

Question

クエリを実行してグループを実行できません。

select phone_number, count(*) as cnt from Jan1013.abcd4 group by phone_number having cnt > 1

「...」というエラーが表示されます。

Error: Response too large to return.

Answer 1

BigQuery は、各クエリの作業を多くの異なるノードに分散します。「応答が大きすぎます」エラーは、いずれかのノードでの応答のサイズがしきい値を超えた場合に発生します。個別の値が多すぎるフィールドで GROUP BY を実行しようとすると、個々のノードは応答行の膨大なリストを計算する必要があり、最終的にこのエラーで失敗します。

この問題に対処する 1 つの方法は、GROUP EACH BY を使用することです。これは、グループ キーの値によってノードにレコードを割り当て、各ノードが考慮する必要がある個別の値の数を減らします。

もう 1 つの方法は、おそらく phone_number 値のサブセットを選択する WHERE 句を追加することによって、より少ない個別の値を考慮するようにクエリを微調整することです。

関連項目: クエリをフィルタリングすると、「応答が大きすぎます」というエラーが発生する