.htaccess - テストサブドメインを検索エンジンによるクロールから除外する（SVNリポジトリ付き）

Question

私は持っています：

domain.comを検索エンジンでクロールしてインデックスに登録したいのですが、testing.domain.comは必要ありません。

テストドメインとメインドメインは同じSVNリポジトリを共有しているため、robots.txtファイルが別々に機能するかどうかはわかりません...

score 11 · Accepted Answer

1）別のrobots.txtファイルを作成します（たとえば、 robots_testing.txtという名前を付けます）。

2）次のルールをWebサイトのルートフォルダの.htaccessに追加します。

RewriteCond %{HTTP_HOST} =testing.example.com
RewriteRule ^robots\.txt$ /robots_testing.txt [L]

robots.txtリクエストをrobots_testing.txtIFドメイン名=に書き換えます（内部リダイレクト）testing.example.com。

または、反対の操作を行います。以下を除くすべてのドメインのすべてのリクエストをrobots.txtに書き換えます。robots_disabled.txtexample.com

RewriteCond %{HTTP_HOST} !=example.com
RewriteRule ^robots\.txt$ /robots_disabled.txt [L]

score 2 · Accepted Answer

tests.domain.comには、次のように独自のrobots.txtファイルが必要です。

User-agent: *
Disallow: /

User-agent: Googlebot
Noindex: /

http://testing.domain.com/robots.txtにあります。
これにより、すべてのボットユーザーエージェントが許可されなくなります。また、GoogleがNoindexも確認するため、適切な測定を行います。

サブドメインをウェブマスターツールに追加することもできます-robots.txtでブロックし、サイトの削除を送信します（ただし、これはGoogle専用です）。詳細については、 http： //googlewebmastercentral.blogspot.com/2010/03/url-removal-explained-part-i-urls.htmlをご覧ください。

2 に答える 2