html - Wordpress の robots.txt で文字列の一部を許可しない方法

Question

wordpress robots.txt ファイルに次の設定があります。何らかの理由で、これの許可部分が機能していませんか? Google ウェブマスター ツールによると、次のようなものは好きではありません。

誰でも理由を教えてもらえますか?

Disallow: /blog/author/*
Allow: /blog/author/admin

ありがとう！:)

Answer 1

末尾*は不要です。robots.txt の規則では、この式で始まるDisallowURL はすべてブロックされます。元の robots.txt 仕様にはワイルドカードがありませんでした。ワイルドカードを使用して、同じことを意味します。/blog/author//blog/author/*

オリジナルの robots.txt 仕様では、ボットは robots.txt ファイルを読み取り、最初に一致したルールを適用する必要があると規定されています。元の仕様にはAllowディレクティブが含まれていませんでしたが、初期の実装者は「最初に一致するルール」ルールを使用し続けました。Googlebot がそれを使用している場合、disallow 行が表示され、一致するため /blog/author/admin をクロールできないと見なされます。

Allowを の上に移動Disallowし、式からアスタリスクを削除することをお勧めしDisallowます。