ファイルは通常、サイトのルート ディレクトリにあるrobots.txt
単なるテキスト ファイルです。たとえば、 を表示できますwww.amazon.com/robots.txt
。しかし、今日、奇妙なrobots.txt
ファイルを含む Web サイトを見つけました。入力するだけなら
http://xli.bugs3.com/robots.txt
テキスト ファイルは表示されず、そのサイトのホームページが表示されます。それはどのように起こり、なぜウェブマスターはこれを行うのですか?