1

これによると http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Disallow: /page1/
すべての page1 URL は許可されません。つまり、page1/foo/bar もブロックされます。
Disallow: /page1

のみpage1がブロックされ、page1/foo/bar will許可されます。
しかし、これは起こっていません。ブロックするだけで、クロールpage1を許可するにはどうすればよいですかpage1/foo/bar

EDIT：実際の問題は、同じページが異なるパスで2回クロールされること/pageです/page/

4

1 に答える 1

0

robots メタタグを追加してみませんか?

<meta name="robots" content="noindex, nofollow, noarchive"/>
于 2012-05-17T09:01:35.867 に答える