製品を含むRailsアプリケーションがあります。製品は次の場所にあります。
mydomain.com/thisproduct
ユーザーがメーカーの Web サイトにつながるリンクをクリックした場合、これは次の URL を持つ関数「リンク」を使用して行われます。
mydomain.com/thisproduct/link
Google は、そのページを私のページとしてインデックス付けすることによって、これを非常に独特にインデックス付けしているようですが、メーカーの Web サイトのコンテンツを使用しています。したがって、これが robots.txt でインデックスに登録されるのをブロックしたいと考えています。
This is my robots.txt:
# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
# User-Agent: *
# Disallow: /
Disallow: /sokresultat/*
Disallow: */link
最後の行は私の質問に関連するものです:
リンクで終わるすべての URL をブロックしますか? さらに重要なことに、それは他のものをブロックしますか? そのワイルドカードを使用して、これによりサイト全体のインデックスが解除されるのではないかと心配しています。