robots.txt - robots.txt でワイルドカードを使用する方法

Question

次のことは可能ですか。

User-agent: *
Disallow: /apps/abc*/

robots.txt ファイルで abc123、abc-xyz などを禁止するには?

Answer 1

ウィキペディアの引用：

Robot Exclusion Standard では、Disallow: ステートメントの「*」文字については何も言及されていません。Googlebot や Slurp などの一部のクローラーは、「*」を含む文字列を認識しますが、MSNbot と Teoma は異なる方法で解釈します。

追加の研究は、引用された情報源で見つけることができます。