0

私はASP.NETWebサイトを作成しています。魔女は、ユーザーに免責事項を受け入れるように強制します。彼らが免責事項を受け入れると、Cookieとセッションが設定されます。各ページリクエストで、セッションまたはCookieが存在するかどうかを確認するためのチェックが実行されます。

Googleや他の検索ボットが、免責事項に同意せずにすべてのページをインデックスに登録/クローイングできるようにしたいと考えています。

これを行うための最良の方法は何ですか？私が考えることができる唯一のことは、のチェックですが、Request.ServerVariables私が探すべき魔女の価値がわかりませんか？

4

2 に答える 2

1

Googlebot が通り過ぎる場合に備えて、セッション / クッキーのチェックをバイパスする必要があります。

したがって、このチェックでは、実際に ServerVariables を確認する必要があります。たとえば、Google の場合、これは次のようになります。

   HttpContext.Current.Request.ServerVariables["HTTP_USER_AGENT"].Contains("Googlebot"))

もちろん、Google になりすましたユーザーも、免責事項をスキップできるようになります。

私はこれをクローキングとは呼びません - しかし、グーグルがそれを好むかどうかについての保証はありません

于 2011-06-15T10:17:39.140 に答える
-1

そのためのメタ タグを追加する必要があります。それ以外の場合は、web.config メタ タグを使用してアクセスを拒否します。

<meta name="robots" content="noindex nofollow">

特にGoogleにとっては

<meta name="googlebot" content="noindex">

また、 URL 削除リクエスト サービスを試すこともできます

于 2011-06-15T09:43:21.950 に答える