私のWebサイトのセクションには、認証されたユーザーのみがアクセスできます。このページがグーグルによってクロールされているのか、それとも検索エンジンに「隠されている」のか疑問に思いました。
ありがとう
4 に答える
6
認証されていないユーザーに対して閉鎖されている場合は、もちろんGoogleに対しても閉鎖されます。Googleボットは、サイトにアクセスしようとしている別のクライアントに他なりません。
新聞のような一部のサイトには、有料ユーザー専用のコンテンツがありますが、検索エンジンには表示されます。これは、顧客にお金を払っていなくても、検索エンジンボットにサイトを開放するというWebマスター側の意識的な行動です。
検索エンジンには、家に入るための「特別な鍵」はありません。
于 2010-07-02T12:32:38.767 に答える
2
それでも問題が解決しない場合は、「site：yourside.com」でgoogleにクエリを実行し、結果ページを確認してください。
于 2010-07-02T12:34:24.037 に答える
1
Webクローラーはサイトにアクセスしようとしている別のクライアントであるため、認証された領域にもクローラーはアクセスできなくなります。
Webクローラーに、Webサイトの他の部分のインデックスを作成しないように指示する場合は、サイトのルートディレクトリにあるrobots.txtというファイルを使用します。例えば：
robots.txt
User-agent: *
Disallow: /hidden
これにより、すべてのWebクローラーは、ディレクトリ'hidden'内のコンテンツにインデックスを付けないようになります。
于 2010-07-02T12:37:56.373 に答える
1
サイトに認証が必要なページへのリンクがある場合、はい、Googleはそれをクロールしようとします。認証されていないユーザーにサービスが提供されないようにするのはあなた次第です。
Greenieが示唆しているように、Robots.txtファイルを使用して、保護されたコンテンツをクロールしないように検索エンジンに指示します。
Robots.txtの指示に従うことは任意です。Webクローラーが実際にそのようなコンテンツを要求するのを止めるものは何もありません。そうであれば、Robots.txtファイルは、「ここに貴重なものがあります!!」という正面玄関のメッセージに相当する可能性があります。
于 2010-07-02T12:42:17.843 に答える