Google BigQuery アプリケーションで次のエラーが発生します。
Exceeded quota: too many large queries for this project
これは何を意味するのでしょうか?「大規模なクエリ」とは何ですか? どうにかしてこの割り当てを引き上げることはできますか?
Google BigQuery アプリケーションで次のエラーが発生します。
Exceeded quota: too many large queries for this project
これは何を意味するのでしょうか?「大規模なクエリ」とは何ですか? どうにかしてこの割り当てを引き上げることはできますか?
BigQuery では、最大 400 GB のデータを処理するクエリと、任意のサイズの 2 つのクエリを同時に実行できます。ヒットしているのは、この後者のクォータです。
400 GB の容量を「パイプ」と呼びます。一度に最大 20 個のクエリを実行してパイプをフルに保つことができ、合計すると 400 GB 未満になります。そのパイプの外に出ると、任意のサイズの 2 つの追加クエリを実行できます。
これが紛らわしいと思われる場合は、150 GB のデータを読み取る 2 つのクエリがあり、1 TB のデータを読み取るクエリと 500 GB のデータを読み取るクエリがあるとします。2 つの小さなクエリは 400 GB のパイプに収まりますが、500 GB と 1 TB のクエリは「大きな」クエリと見なされます。これらはすべて、クォータ制限内で一緒に実行できる必要があります。
ただし、150 GB のクエリが 250 GB の場合、両方とも 400 GB のパイプに収まらず、そのうちの 1 つが「大きな」クエリと見なされるため、1 TB または500GB のクエリ。
BigQuery チームは通常、顧客が他の顧客のパフォーマンスを低下させないようにするために、この特定のクォータを引き上げることにかなり消極的です。クォータの引き上げが必要な強い理由がある場合は、 http://www.google.com/enterprise/cloud/contact.htmlからご連絡いただければ対応できる場合があります。
もう 1 つのオプションは、大規模なクエリの一部をバッチ優先で実行することです。バッチの優先度は、結果が出るまでに時間がかかることを意味しますが、対話型クエリと同じ制限はありません。