0

リクエストごとに IP アドレスを保存して、受信したビジター ビューの数を確認しています。

Dim clientIPAddress As String = Request.ServerVariables("REMOTE_ADDR")
locationsDAL.AddLocationView(locationId, "", User.Identity.Name, clientIPAddress, "website")

しかし、これには、サイトをクロールする MSN/Google ボットなども保存されていることに気付きました。

ボット以外の、実際の訪問者の IP アドレスのみを保存するにはどうすればよいですか?

4

2 に答える 2

0

わかりましたので、私がしたことはこれです：

Dim clientIPAddress As String = Request.ServerVariables("REMOTE_ADDR")
If Not CheckIfCrawler(Dns.GetHostEntry(clientIPAddress).HostName) Then
 'log view
end 

Public Shared Function CheckIfCrawler(ByVal hostname As String) As Boolean
    If hostname.Contains("googlebot") Then
        Return True
    ElseIf hostname.Contains("msnbot") Then
        Return True
    ElseIf hostname.Contains("baiduspider") Then
        Return True
    ElseIf hostname.Contains("nipple3.mail.ru") Then
        Return True
    ElseIf hostname.Contains("reverse.wowrack.com") Then
        Return True
    ElseIf hostname.Contains("crawl") Then
        Return True
    ElseIf hostname.Contains("spider") Then
        Return True
    ElseIf hostname.Contains("nipple2.mail.ru") Then
        Return True
    Else
        Return False
    End If
 End Function

このようにして、ほとんどのボットをホスト名で除外できます。6 か月に 1 回、DB をもう一度チェックして、特定のホスト名に多くのビューがあるかどうかを確認します。次に、ホスト名/IP アドレスがボットに属しているかどうかを IP GeoDB を使用して手動で確認し、そうである場合は CheckIfCrawler 関数に手動で追加します。

于 2012-09-13T22:16:44.953 に答える
0

公式モードは

http://www.bing.com/community/site_blogs/b/webmaster/archive/2012/08/31/how-to-verify-that-bingbot-is-bingbot.aspx

http://googlewebmastercentral.blogspot.com.es/2006/09/how-to-verify-googlebot.html

また、ユーザー エージェントまたは範囲 IP によってボットを検出できます。

一般的なユーザー エージェント:

Googlebot
  Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot-Mobile
  Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)         
bingbot
    Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
MSNBot  
    msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)        
MSRBOT  
    MSRBOT
于 2012-09-09T10:10:55.727 に答える