売り手が次のことを行えるようにするサイトを構築しています。
私が今しなければならないことは、売り手のサイトへのリンクをたどる実際の人間のユーザーだけをログに記録していることをどうにかして確認することです。ボットがサイトをクロールしている場合、売り手に料金を請求するべきではありません。
ボットに特定のリンクをたどらないように指示する方法はありますか? nofollowコンテンツへのアクセスをブロックすることを意図していないので、そうではないと思います。
リンクをたどらないようにボットに指示する方法は、正確には rel=nofollow を <a> タグに追加することです。外部 URL に転送する前にローカルでログを記録していると仮定すると、ユーザー エージェント文字列も確認できます。
実際、紹介の数に基づいて人々に支払いを依頼する場合は、統計が疑問視された場合に備えて、有料のクリックごとに IP アドレスとユーザー エージェントをログに記録することをお勧めします。
たとえば、このような [ robots.txt ] ファイルを追加するだけです。
[robots.txt] ファイルに関する詳細情報は、Wikipediaなどのネットで見つけることができます。
乾杯 & hth.,
通常、ユーザー エージェント文字列で識別できます。ここでリストを見つけることができます。完璧とは言えませんが、拡張するのに適したベースです: PHP/MySQL - ボット用の配列フィルター
robots.txt は別の方法です。詳細はこちら