.htaccess - cnn のような大規模な Web サイトが、より良い htaccess ではなく robots.txt を使用しているのはなぜですか?

Question

私の意見では、賢明ではありません。

たとえば、これを確認してください：

http://edition.cnn.com/robots.txt
http://www.bbc.co.uk/robots.txt
http://www.guardian.co.uk/robots.txt

これからによると：

http://www.joomla.org/robots.txt

Joomla.org はデフォルトの管理フォルダーを変更していません:D

たとえば、prestashp ページには空白の robots.txt ファイルがありますが、これは完全ではありませんが、少なくとも私の意見では改善されています。

http://www.prestashop.com/robots.txt

これらの人々は愚かですか、それとも自分のウェブ構造がどのように見えるかを知っていても大丈夫だと思っているのでしょうか?

ロボットなどのアクセスを拒否するために htaccess を使用しないのはなぜですか?

Answer 1

問題は.htaccess、訪問者が検索エンジン ボットであることを直感的に判断できないことです。

ほとんどのボットは、ユーザー エージェント文字列で自分自身を識別しますが、そうでないものもあります。

Robots.txt は、サイトのインデックスを作成しようとするすべてのボットによってアクセスされます。

1. 自分自身をボットとして識別する
2. robots.txt に注意してください (そうしないと、故意に無視されます)。