0

私は、通常モードと非推奨のブラウザー モードでサイトを作成しています。誰かが www.mysite.com に入ると、ユーザー エージェントは次のようになります。

            // Mobile
            if (Request.Browser.IsMobileDevice) return Redirect("/m");

            // Tabļet
            if (Request.UserAgent.Contains("BlackBerry") || (Request.UserAgent.Contains("iPhone") || (Request.UserAgent.Contains("Android")))) return Redirect("/t");

            // Deprecated
            if (Request.Browser.Browser == "IE" && Convert.ToInt32(Request.Browser.Version) < 9) return Redirect("/h");

            // Normaļ
            return View();

質問:一部のブラウザーのメイン ビューへのアクセスを制限すると、Web クローラーへのアクセスも制限されますか?

4

2 に答える 2

2

クローラーによります。通常、Google などのすべての主要なクローラーは、robots.txt を尊重し、残りはすべてクロール可能にする必要があります。だれかがプールでコード化されたクローラーを作成していない限り、サイトのクロールに影響を与えることはありません。また、nutch のオープン ソース Web クローラーを使用して、自分のサイトのクロールを試すこともできます。

于 2013-02-21T17:52:57.060 に答える
0

マクドナルドの Web サイトをクロールするための単純な Web クローラーを作成しました。クローラーが毎回取得するのは、モバイル Web ページです。したがって、単純なクローラーの場合、設定によってアクセスが制限されます。しかし、主要な Web クローラーにはこの問題はありません。

于 2013-04-06T04:32:56.153 に答える