0

私のサイトにはさまざまなページネーションがあり、Google や他の検索エンジンが私のページネーションのインデックスをクロールするのを止めたいと思っています。

クロールされたページの例:

http://www.mydomain.com/explore/recently-updated/index/12

robots.txt を使用して、ロボットによる /index/ を含むページのクロールを拒否するにはどうすればよいですか?

4

2 に答える 2

3 
Disallow: /*?page=
Disallow: /*&page=
于 2012-09-22T10:10:24.877 に答える
1

次のように、ルート Web ディレクトリに robots.txt ファイルを作成すると思います。

User-agent: *
Disallow: /explore/recently-updated/index/

それを試してから、誰か（おそらくGoogleの）ロボットチェッカーを使用して、停止していることを確認してください.

于 2012-07-13T19:52:57.243 に答える