プライベート GCP アカウントを使用しており、30 GB のデータを処理し、SpaCy を使用して NLP 処理を行いたいと考えています。より多くのワーカーを使用したかったので、以下に示すように、ワーカーの最大数を 80 から始めることにしました。ジョブを送信したところ、GCP の標準ユーザー クォータの一部に問題が発生しました。
QUOTA_EXCEEDED: Quota 'IN_USE_ADDRESSES' exceeded. Limit: 8.0 in region XXX
そこでIN_USE_ADDRESSES、ある地域で 50 の新しいクォータを要求することにしました (この要求を受け入れることができる地域を見つけるのに、数回の反復が必要でした)。新しいジョブを送信したところ、新しいクォータの問題が発生しました。
QUOTA_EXCEEDED: Quota 'CPUS' exceeded. Limit: 24.0 in region XXX
QUOTA_EXCEEDED: Quota 'CPUS_ALL_REGIONS' exceeded. Limit: 32.0 globally
私の質問は、たとえば 1 つのリージョンで 50 人のワーカーを使用したい場合、どのクォータを変更する必要があるかということです。ドキュメントhttps://cloud.google.com/dataflow/quotasは、「10 個の Compute Engine インスタンスを使用するには、10 個の使用中の IP アドレスが必要です」とだけ述べているため、最新のものではないようです。上記のように、これでは十分ではなく、他のクォータも変更する必要があります。これが文書化され、説明されているドキュメント、ブログ、またはその他の投稿はありますか? 1 つのリージョンだけで、49 個の Compute Engine 割り当てを変更できます。