0

私は asp.net DataPager を使用していますが、作成されたリンクを検索エンジンがクロールできないことに気付いたので、クエリ文字列パラメーターを追加したところ、リンクをクロールできることがわかりました。

私が今抱えている問題は、最終的に同じページの複数の URL になることです。

次のようなクエリ文字列パラメーターを使用して、検索エンジンがすべてのページのインデックスを作成するのを停止することはできますか?

?pg=

そのため、検索エンジンはこれらのリンクをたどりますが、インデックスは作成しません:

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate?pg=3
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation?pg=6

しかし、インデックスを作成します:

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation

助けてくれてありがとう

J.

4

1 に答える 1

2

robots.txtでそれを達成できると確信しています

グーグルを使用すると、ウェブマスターツールで除外するパラメータを指定できます。

また、ユーザーエージェントをトラップして、ボットの場合はページをクラッシュさせることもできます...

于 2011-07-14T12:28:33.670 に答える