ワイルドカード サブドメインを使用するサイトを持っているので、誰かがサインアップすると、独自のサブドメインが取得されます。
Google (または他の検索エンジン) がサブドメインをクロールしてインデックスに登録することは望んでいません (www を受け入れます)。
robots.txt でこれを行う方法はありますか?
よろしく
7898 次
1 に答える
4
いいえ、少なくとも1つのグローバルrobots.txtファイルで直接ではないと思います。参照: http://www.seomoz.org/q/block-an-entire-subdomain-with-robots-txt
そのページのどこかに andykuiper は次のように書いています。
robots.txt を使用してサブドメイン全体をブロックできますが、robots.txt ファイルを作成してサブドメインのルートに配置し、コードを追加して、ボットがサブドメイン全体のコンテンツに近づかないようにする必要があります。
ユーザーエージェント: * 許可しない: /
以下も参照してください。
- http://productforums.google.com/forum/#!topic/webmasters/f5AfW1otAUo
- robots.txt を使用したサブドメインの Disallow または Noindex
- サブドメインは、robots.txt による検索ボットを許可しません
robots.txt新しく作成されたサブドメインにファイルを作成/コピーするスクリプトを作成すると、すべてが意図したとおりに機能するはずです。
于 2013-02-21T13:11:42.970 に答える