robots.txt - robots ファイルのルールを許可しない

Question

許可しない: /*?

これが robots.txt ファイルにある Web サイトの場合。? の前にすべてがブロックされると思います。

これは本当ですか？/? の前のすべてのレベル/フォルダー ?

Answer 1

このルールは、クエリ文字列を含むすべての URL をブロックします。したがって、ブロックしますhttp://www.example.com/foo.html?name=barが、ブロックしませんhttp://www.example.com/foo.html。