domaindev.comのようなドメインがあります。
robots.txtすべてをブロックするように、このドメインのファイルを設定しました。
User-agent: *
Disallow: /
そのように。そのため、すべてがクロールされないようにブロックされます。
ここからが興味深いところです。また、サーバーでホストされているいくつかの subdomains.domaindev.com があり、それらのサブドメインもすべてクロールされないようにブロックしたいと考えています。古いサブドメインと新しいサブドメインをブロックする簡単な方法が必要です。www.domaindev.comに追加できる行はありdomaindev.comますか?
robots.txtデフォルトを作成し、それをすべてのサブドメイン フォルダーに手動でドロップするのが最善の方法です。
継続的に同じことをする必要がないように、明確な解決策が本当に欲しいです。
WordPress を使用しており、wp-admin で、スパイダーが Web サイトをクロールできないように設定しています。しかし、どういうわけか、これらのウェブサイトは Google に進出しています。
どうすればいいですか？
サイトを検索したところ、.htaccessファイルに追加する次の行が見つかりました。
Header set X-Robots-Tag "noindex, nofollow"
私もそうするつもりです。
また、各サブドメインに独自のrobots.txtファイルが必要であることが標準の一部であることもわかりました。