robots.txt - robots.txt を使用して特定の URL パラメータをブロックできますか?

Question

「何を試しましたか」、「これを自分でテストしてください」と言う前に、robots.txt更新が非常に遅いことに注意してください。私のサイト検索エンジンの任意のサイトなので、理論的な経験を提供できれば幸いです。

たとえば、次のことを許可できますか。

http://www.example.com

そしてブロックします：

http://www.example.com/?foo=foo

よくわかりません。

ヘルプ？

Answer 1

ウィキペディアによると、「robots.txt パターンは、単純な部分文字列比較によって照合されます」。GET 文字列は URL であるため、次のように追加するだけで済みます。

Disallow: /?foo=foo

またはもっと凝ったもの

Disallow: /*?* 

すべての取得文字列を無効にします。アスタリスクはワイルドカード記号であるため、任意の 1 つまたは複数の文字に一致します。

動的 URL を含む robots.txt の例。