このページによると
グロビングと正規表現は、User-agent または Disallow 行でサポートされていません
しかし、stackoverflow robots.txtに * や ? などの文字が含まれていることに気付きました。URLで。これらはサポートされていますか?
また、URL に末尾のスラッシュが含まれているかどうか、またはこれら 2 つが同等であるかどうかに違いはありますか?
Disallow: /privacy
Disallow: /privacy/
質問する
1360 次
1 に答える
10
2番目の質問です。2つは同等ではありません。のようなものを含め、/privacyで始まるものはすべてブロックされます。一方、それをブロックすることはありません。/privacy/privacy_xyzzy/privacy/
元のrobots.txtは、グロブやワイルドカードをサポートしていませんでした。ただし、多くのロボットはそうします。グーグル、マイクロソフト、ヤフーは数年前に標準に合意した。詳細については、http： //googlewebmastercentral.blogspot.com/2008/06/improving-on-robots-exclusion-protocol.htmlを参照してください。
私が知っているほとんどの主要なロボットは、その「標準」をサポートしています。
于 2013-01-26T17:19:56.690 に答える