robots.txtはホストルートに配置する必要があります。robots.txtをに含めることはできませんexample.com/path/robots.txt
。
したがって、robots.txtを1レベル上に移動する必要がありますexample.com/robots.txt
。Disallow: /
そして今、このホスト上のすべてをブロックしていることは明らかです。
「プライベート」URLに関する情報を提供したくない場合は、それらのURLの先頭のみを指定できます(可能な場合)。
User-agent: *
Disallow: /p
これにより、次のようにで始まる すべてのURLがブロックされます。example.com/p
example.com/p
example.com/p.html
example.com/path
example.com/path/
example.com/path/foobar
example.com/p12asokd1
これが不可能な場合(たとえば、パブリックURLがそのような文字で始まる場合など)、robots
meta
代わりに要素を使用できます。
URLをブロックするためにを使用する場合、検索エンジンは引き続きURLにインデックスを付け、検索結果でそのURLにリンクする可能性があることに注意してrobots.txt
ください(たとえば、誰かがあなたのプライベートURLにリンクする場合)。したがって、これらのURLはもはや「プライベート」ではありません。この方法を使用する場合meta
、(丁寧な)検索エンジンはURLのインデックスを作成することすらしないので、それはあなたにとって有利です。