私のページ /admin/login.asp が、クエリ "inurl:admin/login.asp" で Google に表示されるのに、"site:www.domain.xx" クエリでは表示されない可能性はありますか?
robots.txt に次のコード行があります。
User-agent: *
Disallow: /admin/
そして、これはページの HTML コードで:
<meta name="robots" content="noindex, nofollow" />
何か案は？
Google 検索結果ページ (SERP) で URL を見つけたとき、タグで見つかったのと同じタイトルを持っていますか? また、説明/スニペットもありますか?
私が思うに、Google はあなたのサイトのリンクから URL を知っているので、それをクロールしてインデックスに登録しようとします。ただし、robots.txt によってブロックされているため、ページのクロールが許可されていないため、ログイン ページにある noindex メタ タグを確認できません。
ページをインデックスに登録すべきでないことを認識していないため、Google はその URL をインデックスに追加します。ただし、このようなページはSERPにタイトルとURLしかない傾向があり、ほとんどの場合、説明/スニペットはありません. SERP のタイトルは、ページをクロールしたように見えることがありますが、実際には、そのページを指しているリンクのアンカー テキストに基づいてタイトルを生成しようとしています。
ページが SERP に表示されないようにする確実な方法は、Disallow: /admin/コマンドを削除し、Googlebot がページをクロールして noindex,nofollow メタ タグを確認できるようにすることです。
noindex コマンドはそのページを SERP から削除し、nofollow はログイン ページで見つけたリンクを優先しないように Googlebot に通知するのに役立ちます (これはクロール効率を維持するのに役立ちますが、Google がクロールしないことを保証するものではありません)ページ上で見つかったリンク)。
robots.txt が Google によって正しく解釈されているかどうかは、Google ウェブマスターで確認できます。インデックスからの URL の削除をリクエストすることもできます。