特定の Web サイトでクローラーを実行していますwww.example.com
。クローラーは、最大 100 件のエントリの後、CAPTCHA によってブロックされます。一方、Google に入力して検索するsite:www.example.com
と、100,000 件の結果が見つかり、結果は Google によって正しくキャッシュされます。
私の質問: Google ボットがブロックされていないのに、私がブロックされているのはなぜですか? Google が使用する何千もの個別の IP が原因なのか、それとも何か別のトリックがあるのでしょうか?