restriction - Googleクローラーの時間制限

Question

特定の日または期間（週末のみなど）にサイトにアクセスしてクロールするようにgooglebotに通知するために、任意のプロパティを設定できることを誰かが知っていますか？

ありがとう、

Answer 1

XMLサイトマップを使用して、適切なクロール頻度に関するヒントを提供できますが、これはヒントにすぎず、特定の日付を要求することはできません。

Answer 2

より遅いクロール レートを希望することを Googlebot に通知できますが (サイトが最低レートよりも速くクロールされている場合)、これは 90 日間有効です (http://www.google.com/support/webmasters/bin/answer.py?hl=ja&answer=48620 )。

robots.txt は Google によってキャッシュされるため、変更すると問題が発生する可能性があります。そのため、クロールを禁止すると、サイトが意図したよりもはるかに長くクロールされない可能性があります。

Google には複数の種類のボットがあるため、意図したとおりに robots.txt を使用して、サイトのどの部分をクロールするのが適切かを選択できる場合があります。見るhttp://www.google.com/support/webmasters/bin/answer.py?answer=40360。

Answer 3

そうは思いませんが、googlebotはrobots.txtを頻繁に再読み込みするので、そのときに別のrobots.txtをスクリプトなどで交換した場合、機能するのではないかと思います。