私はさまざまなフォーラムを調べてきましたが、これが正しいかどうか疑問に思っていました. 特定のサブページ (例: www.website.com/subpage/?query=sample) でのみボットがクエリをクロールするのを無効にしようとしています。/subpage/ も許可されないようにしています。間違っている場合は修正してください。
ファイル: robots.txt
User-agent: *
Disallow: /subpage/*?
2 に答える
0
でクエリ文字列を指定できないと思いますDisallow。に設定した値は、ドキュメントのようにDisallow参照さDirectoryれます (URIまたはではありませんURL)。
ただし、を使用することで目的を達成できますSitemap.xml。URLインデックスを作成したくない from サイトマップを除外できます。
Google ウェブマスター ツールでは、クエリ文字列パラメーターの解釈方法をある程度細かく制御することもできます。それがあなたの目的に役立つかどうかわからない
于 2013-10-21T05:42:06.243 に答える