サイトの会社プロファイルにアクセスしたときにビューデータベースに行を保存する新しい訪問数機能をサイトに実装しました。これは、ページ（会社のプロファイル）が読み込まれるたびに実行されるサーバー側の「/addVisit」関数を使用して行われます。残念ながら、これは昨夜Googlebotから400回以上の訪問があったことを意味します。
Googleにこれらのページのインデックスを作成してもらいたいので、robots.txtを使用してこれらのページでGooglebotを除外することはできません。
また、jQuery $ .get（）を使用してこの関数を実行しても、Googlebotが停止しないことも読みました。
唯一の有効な解決策は、既知のボットIPを除外することですか、それともオプションがありますか？
または、robots.txtでjQuery $ .get（/ addVisit）を使用すると、/ addVisitが除外され、googlebotや他のボットがこの関数を実行できなくなりますか？
robots.txtWebサイトのルートディレクトリにファイルを作成し、次を追加します。
User-agent: Google
Disallow: /addVisit
*の代わりに使用することもできるGoogleので、/addvisitどのエンジンでもインデックスが作成されません。検索エンジンは常にを探し始め/robots.txtます。このファイルが存在する場合、コンテンツを解析し、適用された制限を尊重します。
詳細については、http：//www.robotstxt.org/robotstxt.htmlを参照してください。
サーバー側のHTTPリクエストでカウントを処理している場合は、「Googlebot」という単語を含むすべてのユーザーエージェントをフィルタリングできます。Googleで簡単に検索すると、Googlebotユーザーエージェントの例がいくつか表示されます。
Googlebot/2.1 (+http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)