web-crawler - Google検索と制限されたコンテンツ？

Question

誰かがログインしていないと表示されないコンテンツが Web サイトにある場合、Google はそれをどのように認識しますか?

このページは、アクセスが制限された電子商取引 (製品を表示するにはユーザーがログインする必要があります) のページです。そのため、Google はそれらの製品を認識できませんか?

この問題を処理するための正しい戦略は何でしょうか?

Answer 1

Google-Adsense の場合、この問題は理にかなっています。Google は、まさにこのためのサイト認証機能を提供しています: 参照 - Google AdSense がサイト認証を開始

Google にユーザー名とパスワードを提供すると、Google bot が保護されたページをクロールできるため、訪問者がそのページにアクセスしたときにターゲットを絞った広告をより適切に配信できます。

また、これが意図された目的でない場合は、ユーザー名とパスワードなしでユーザーに提供されるものとは異なるコンテンツを Google に提供することは明らかに間違っていることを覚えておいてください。
Google で何かを検索し、最初のリンクをクリックするとすぐに、ウェブサイトにサインアップ ページが表示され、有用な情報が表示されなかったと想像してください。

Answer 2

提供されたユーザー エージェント ヘッダーを使用して、Google ボットがサイトにアクセスしているかどうかを検出し、ボットがログインしている通常のユーザーであるかのように処理できます。これは、phpBB などのプログラムに実装されています (そのプログラムでは、特別な可視性オプションとして）。

このソリューションの欠点は、送信されたユーザー エージェント ヘッダーに依存できないことです。これは、細工されたヘッダーを簡単に送信して、Google ボットとしてサイトに表示されるためです (Firefox などの拡張機能があり、そのようなものを提供します)。機能）。