特定の Web ページのクローラーを作成しました。この Web ページには、次のような robots.txt があります。
User-Agent: *
Crawl-delay: 30
そのため、サイトを 30 秒ごとにクロールすることしか許可されていません (そうですか?)。しかし、サブページはどうですか？たとえば、次のサイトは異なるサブページであるため、30 秒も待たずにクロールできますか。
www.mysite.com
www.mysite.com/category_1
www.mysite.com/category_2
これらのリクエストの間に 30 秒の休憩を入れる必要がありますか?
ありがとう、トーマス。