Google がいつサイトをクロールしているかを知りたいのですが、できれば自分宛てにメールを送信してください。
パフォーマンスに悪影響を及ぼさない方法はありますか?
Google がいつサイトをクロールしているかを知りたいのですが、できれば自分宛てにメールを送信してください。
パフォーマンスに悪影響を及ぼさない方法はありますか?
IIS ログファイル (usu. in c:\windows\system32\logfiles
...) は、スパイダーがいつサイトをクロールしたかを示します。ログを有効にして、ブラウザ/ユーザー エージェントをログに記録していることを確認してください。ブラウザ エージェントは、特に、Web ブラウザ/ボット/ページを要求したものの名前を含む文字列です。ほとんどのエントリは、目視検査で明らかです (たとえば、googlebot には文字列「googlebot」が含まれています)。
通知を受け取りたい場合は、前の回答者が提案したように、15 分または 20 分ごとに実行され、最後のスキャン以降のログ エントリをスキャンし、パターン マッチについてメールで送信するタスクを用意します。
ユーザー エージェントは、Google アプライアンスか Google かに応じて、自分自身を gsa-crawler/Googlebot として識別します。Request.ServerVariables("HTTP_USER_AGENT")
それを監視したり、IIS ログ ファイルを分析したりするコード ( ) を作成できます。
ボットが本当に Google のものであることを確認することをお勧めします。これには注意が必要です。
電子メールをできるだけ早く送信する必要がある場合は Web アプリ ルートを選択し、もう少し待つことができる場合はファイル分析ルートを選択します。