私の評価システムでは匿名ユーザーが評価を追加できますが、Googleのクローラーが評価を行っています。
Googlebotがリンクをたどらないようにするにはどうすればよいですか?
私の評価システムでは匿名ユーザーが評価を追加できますが、Googleのクローラーが評価を行っています。
Googlebotがリンクをたどらないようにするにはどうすればよいですか?
データを変更するアクション(投票、投稿の編集など)に対するGETリクエストを受け入れないでください。投票はPOSTリクエストを介して行う必要がありますが、Googlebotはこれを実行しません。
このSO投稿の詳細:いつPOSTを使用し、いつGETを使用しますか?
robots.txtを使用して、ボットがたどってはならないリンクを指摘します。たとえば、次のように入力しますhttp://example.com/robots.txt
User-Agent: *
Disallow: /vote.php
robots.txtの詳細については、 http ://www.robotstxt.org/をご覧ください。
Googleと他のすべての行儀の良いボットは、robots.txtの指示を読み、それに従います。
ボットがこれらの指示に従わないという問題もある場合は、ボットをブロックするか、少なくともボットの影響を減らすために、いくつかのロジックをコーディングする必要があります。たとえば、特定の時間枠内にIPアドレスから得た投票数をログに記録し、そのレベルを超える投票をブロックすることができます。別の解決策は、投稿のみを許可し、スパムボットをブロックするためのJSロジック(または同様のもの)を使用することですが、robots.txtよりもはるかに手間がかかるため、問題が発生した場合にのみ時間をかけてください。
また、WebサーバーでIPをブロックすることにより、動作の悪いボットを完全にブロックすることもできます。ブロックソリューションを好む場合は、動作の悪いボットのリストをいくつか試すことができます。