robots.txt を使用して、一部のページをスパイダーから除外しています。
User-agent: *
Disallow: /track.php
このページを参照して何かを検索すると、Google は次のように表示します。
これは、robots.txt が機能していることを意味します..しかし、ページへのリンクがまだスパイダーによって検出されるのはなぜですか? 「track.php」ページへのリンクがないようにしたいのですが、robots.txt をどのように設定すればよいですか? (または.htaccessなどのようなもの..?)