robots.txt - ディレクトリ インデックス以外の robots.txt 内のすべての URL をブロックする方法は?

Question

たとえば、 、および 内の他のすべての同様の URL をブロック/foo.phpし、/foo/foo.php、などrobots.txtだけを残したいとします。//foo/

つまり、ディレクトリ以外のすべてをブロックしたいのです。

これはどのように可能ですか？

Answer 1

ブロックしたいすべての URL が で終わる (または含む).php場合は、次を使用できます。

User-agent: *
Disallow: /*.php

ただし、これはワイルドカードを使用しており、すべてのパーサーがサポートしている*わけではありません( Google がサポートしています)。