動作の悪い Web クローラーを抑制するために使用する必要がある HTTP 応答コードは次のとおりです。
ヘッダーまたは本文で説明を返す必要がありますか?
動作の悪い Web クローラーを抑制するために使用する必要がある HTTP 応答コードは次のとおりです。
ヘッダーまたは本文で説明を返す必要がありますか?
実際、推奨される ( RFC6585 ) http ステータスは429 Too Many Requestsです。たとえば、Twitter REST API Rate Limiterで使用されます。
ただし、GSA は、大量のリクエストを送信すると503 Service Unavailable を内部的に返すため、外部サイトも同じように動作することを想定していると考えて間違いありません。
スロットリング ソリューションで503 Service Unavailableを使用しました。