Web サイト (例: www.examplesite.com) を所有しており、別のサイトを別のスタンドアロン サイトとして IIS に作成しています。この 2 番目のサイトの URL は、私のメイン サイト (www.examplesite.com/anothersite) の一部のように見えます。これは、2 番目のサイトを指すメイン サイトの下に仮想ディレクトリを作成することによって実現されます。
メイン サイト (www.examplesite.com) を検索エンジンにインデックス登録できるようにしていますが、2 つ目の仮想ディレクトリ サイトを検索エンジンに表示させたくありません。2 番目のサイトが独自の robots.txt ファイルを持つことを許可し、そのサイトのすべてのページを禁止することはできますか? または、メイン サイトの robots.txt ファイルを変更して、仮想ディレクトリを禁止するように指示する必要がありますか?
ディレクトリ用に独自の robots.txt を持つことはできません。「ホスト」のみが独自の robots.txt を持つことができます: example.com、www.example.com、sub.example.com、sub.sub.example.com、…</p>
したがって、 のルールを設定するwww.example.com/anothersite場合は、robots.txt を使用する必要がありますwww.example.com/robots.txt。
サブサイトのすべてのページをブロックする場合は、次を追加するだけです。
User-agent: *
Disallow: /anothersite
これにより、「anothersite」で始まるすべての URL パスがブロックされます。たとえば、これらのリンクはすべてブロックされます。
www.example.com/anothersitewww.example.com/anothersite.htmlwww.example.com/anothersitefoobarwww.example.com/anothersite/foobarwww.example.com/anothersite/foo/bar/注: robots.txt に既に が含まれている場合は、新しいブロックを追加する代わりに、このブロックに行User-agent: *を追加する必要がありますDisallow(ボットは、一致するブロックを見つけるとすぐに robots.txt の読み取りを停止します)。