seo - robots.txt でのユーザー エージェントの順序

Question

私の robots.txt は次のようになります。

User-agent: *
Disallow: /admin
Disallow: /test

User-Agent: Googlebot
Disallow: /maps

現在、Google は user-agent * の部分を無視し、特定の Googlebot ディレクティブ (/maps) のみに従います。これは正常な動作であり、useragent * ディレクティブ (/admin、/test) にも従うべきではありませんか?

ユーザーエージェントごとにすべての行を追加する必要があるのは奇妙に思えますか?

Answer 1

気にしないでください、Googleはこれを述べています：

robots.txt ファイルの各セクションは独立しており、前のセクションに基づいていません。例えば：

ユーザーエージェント: * 許可しない: /folder1/

ユーザー エージェント: Googlebot を許可しない: /folder2/

この例では、/folder2/ に一致する URL のみが Googlebot に対して許可されません。