robots.txt - robots.txt: ボットが特定の「URL の深さ」にアクセスすることを許可しない

Question

私はこの構造とのリンクを持っています:

• http://www.example.com/tags/何とか
• http://www.example.com/tags/blubb _
• http://www.example.com/tags/ blah / blubb (両方のタグに一致するすべてのアイテム)

URL に 1 つのタグが含まれるすべてのリンクを Google & Co にスパイダーしてもらいたいのですが、2 つ以上のタグが含まれる URL にはスパイダーを送信しないでください。

現在、問題を解決するために、html メタタグ「robots」->「noindex、nofollow」を使用しています。

robots.txt ソリューション (少なくとも一部の検索ボットでは機能します) はありますか?それとも、「noindex、nofollow」を続行して追加のトラフィックに対応する必要がありますか?

Answer 1

robots.txt を使用してそれを行うことはできないと思います。 標準は非常に狭いです (ワイルドカードなし、最上位にある必要があるなど)。

サーバーのユーザーエージェントに基づいてそれらを禁止するのはどうですか?