1

私はグーグルボットに少し問題があります、私はWindows Server 2009で動作しているサーバー、Workcubeと呼ばれるシステムを持っています、そしてそれはcoldfusionで動作します、ビルトインのエラーレポーターがあります、それで私はエラーのすべてのメッセージを受け取ります、特にそれは関係していますグーグルボット、存在しない偽のリンクに行こうとしている！リンクは次のようになります。

  1. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=282&HIERARCHY=215.005&brand_id=hoyrrolmwdgldah
  2. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=145&HIERARCHY=200.003&brand_id=hoyrrolmwdgldah
  3. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=123&HIERARCHY=110.006&brand_id=xxblpflyevlitojg
  4. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=1&HIERARCHY=100&brand_id=xxblpflyevlitojg

もちろん、brand_id=hoyrrolmwdgldahやbrand_id=xxblpflyevlitojgのような定義は偽ですが、何が問題になるのかわかりません。アドバイスが必要です！助けてくれてありがとう！;）

4

1 に答える 1

1

そのエラーを検出したURLを提供するGoogleウェブマスターツールを使用してサイトを確認することをお勧めします。

ログも有効ですが、ユーザーエージェントを偽装しているのではなく、実際にGooglebotがサイトを攻撃していることを確認する必要があります。

これを行うための手順は次のとおりです。http：//googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html

基本的に、逆引き参照からホストを受け取った後、逆引きDNSルックアップを実行し、次に正引きDNSルックアップを実行する必要があります。

それが本物のGooglebotであることを確認したら、トラブルシューティングを開始できます。Googlebotは、これまで自然に見られなかったURLをリクエストしないことがわかります。つまり、Googlebotは直接オブジェクト参照リクエストを行うべきではありません。Googlebotのユーザーエージェントを備えた不正なボットだと思いますが、そうでない場合は、サイトを調べて、誤ってそれらのページにリンクしていないかどうかを確認することをお勧めします。

残念ながら、完全なURLを投稿したため、サイトをクリーンアップしても、GoogelbotはStack Overflowからのリンクを確認し、クロールキューにあるため、引き続きクロールします。

これらのURLをユーザーにとって意味のある場所に301リダイレクトすることをお勧めします。そうでなければ、私はこれらのページを404または410にするので、Googleはこれらのページをインデックスから削除することを知っています。

さらに、これらがインデックスに登録したくないページである場合は、robots.txtファイルにパスを追加して、Googlebotがこれらのページをさらにリクエストできないようにすることをお勧めします。

残念ながら、これらのURLを二度とクロールしないようにGooglebotに指示する良い方法はありません。いつでもGoogleウェブマスターツールにアクセスして、URLをインデックスから削除するようにリクエストできます。これにより、GooglebotがURLを再度クロールできなくなる可能性がありますが、それが保証されるわけではありません。

于 2011-11-04T05:45:02.327 に答える