3

ウィジェットの広告クリックをカウントしたい。

私は robot.txt ファイルで使用しました:

User-agent: *
Allow: /
Disallow: */ads_count/*

nofollowそのウィジェットのすべてのリンクにも追加しました。

しかし、多くのボットは依然としてそのウィジェットの URL をたどっています。URL をカウントするクライアント IP を取得し、多くの IP フォーム ボットを取得しました。

4

2 に答える 2

2

*/ads_count の前の (*) を削除しようとしましたか? SEO の Google ドキュメントにあるように、すべてのボットをブロックしたい場合は、次のようにします。

User-agent: * // (to whom? (*) means all bots!
Disallow: /ads_count

ディレクティブでは大文字と小文字が区別されることに注意してください。たとえば、Disallow: /junk_file.asp はhttp://www.example.com/junk_file.aspをブロックしますが、 http://www.example.com/Junk_file.aspは許可します。Googlebot は、robots.txt 内の空白（特に空行）と不明なディレクティブを無視します。

于 2012-12-04T10:43:43.990 に答える
0

Allowのワイルドカードは元のrobots.txt仕様の一部*でDisallowはないため、すべてのrobots.txtパーサーがこれらのルールを認識/記録するわけではありません。

で始まるすべてのページをブロックする場合は/ads_count/、次のものが必要です。

User-agent: *
Disallow: /ads_count/

ただし、すべてのボットがrobots.txtを尊重しているわけではありません。そのため、robots.txtを無視する不正なボットにヒットする可能性があります。

于 2012-12-10T14:45:27.457 に答える