linux - ロボットがありません robots.txt の場所

Question

robots.txt と少し混乱しています。

次の場所にある Linux ベースの Apache サーバー上のサイトでロボットをブロックしたいとします。

var/www/mySite

これを含むrobots.txtを（index.phpと一緒に）そのディレクトリに配置します：

User-agent: *
Disallow: /

右？

ロボットがサーバー全体または var/www/mySite 内のサイトのみをインデックス化するのを停止しますか? たとえば、var/www/myOtherSite 内のサイトもロボットをブロックしますか? 1つのサイトでやりたいだけだからです。

ありがとう！

Answer 1

Robots (well-behaved robots, that is -- honouring robots.txt is entirely voluntary) will use the robots.txt found in the root of your domain. If mySite is served off mysite.com and myOtherSite is served off myothersite.com, then your robots.txt would only be served on mysite.com and this works as intended.

To test, just head to http://myothersite.com/robots.txt and verify that you get a 404.