さまざまな検索ボットは、robots.txt ファイルの disallow ステートメントの * 文字をどのように解釈しますか? それらはすべて「なし、1つまたは複数の文字」として扱いますか?
次の例を見てみましょう。
User-agent: *
Disallow: /back-end*/*
上記のコードはどういう意味ですか? 「バックエンド」という単語の後に任意の文字セットが続いていても、「バックエンド」を含むディレクトリはインデックス化されないということですか? / の後の * はどうですか？それを書くのは良い慣習ですか？
一般的に言えば、disallow ステートメントでの * の使用法と、すべての検索エンジン クローラーがそれを同じように扱うかどうかについての私の質問です。