ruby-on-rails - GooglebotはRailsアプリのリンクをサブドメインに置き換えます

Question

私はこのRailsアプリをドメイン名で持っていますabc.com。また、このサブドメインには、Piwik統計用の個別のサブドメインがありstats.abc.comます。

Googlebotはどういうわけか私のサブドメインとのリンクのいくつかをリストしました。

http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup

のあるものstatsはアプリ内の同じページを参照しますが、まったく異なるWebサイトとして扱われます。

robots.txt私はこの問題の後に入れましたstatsが、将来新しいサブドメインがあるかもしれないので、これをブロックする適切な方法があるかどうか疑問に思います。これが私のコンテンツですrobots.txt

User-agent: *
Disallow: /

ありがとう。

Answer 1

Robots.txtはそれをうまくブロックします。サイトを公開する前に覚えておくことが重要です-Googleはかなり高速です。一部の検索エンジンはrobots.txtを無視します。最善の方法は、状況に実際に合わないサブドメインを持たないことです。サブドメインの真の目的を読むことをお勧めします。異なるドメインで同じサイトにサービスを提供するべきではありません。301ダイレクトを使用するか、異なる（サブ）ドメインで異なるコンテンツを使用する必要があります... stats.abc.comに異なる素材が含まれている場合を除き、サブドメインであってはなりません。何のためにこれほど多くのサブドメインが必要ですか？

ユーザーエージェントを検出できます。ボットの場合は、404も返します。