3

私は (楽しみのために) 検索エンジンを構築していますが、私の小さなプロジェクトが、広告をクリックしたり、あらゆる種類の問題を引き起こしたりする可能性があることに気付きました。

では、優れたウェブクローラーの「エチケット」のガイドラインは何ですか?

頭に浮かぶこと：

  1. Robot.txt の指示に従ってください
  2. 同じドメインへの同時リクエスト数を制限する
  3. 広告リンクをたどらない？

クローラーが広告をクリックするのを止める - これは今のところ特に頭に浮かんでいます... ボットが広告を「クリック」するのを止めるにはどうすればよいですか? 広告内の URL に直接アクセスした場合、クリックとしてカウントされますか?

4

2 に答える 2

3

robots.txt 命令だけを読むわけではありません。noindex と nofollow を含むメタ タグも表示されるはずです。

広告の質問についてはわかりませんが、リンクを読んだだけでそのページにもう一度アクセスすると、入力されたページにはそのアドレスを取得した方法に関する情報がなく、サイトに請求することはできません。 「疑似クリック」について

于 2009-06-09T13:43:34.477 に答える