Google がページをクロールする方法に興味があります。Google Bot がサイトにあるかどうか、およびどのページにあるかを示すコードが少しあります。
たとえば、Google がページをクロールしている場合、そのページにはサイトの他の 10 ページへのリンクがある /page.html があります。
それが存在するページであるため、可能なインデックス付けのために page.html のみを追加しますか、それとも可能なインデックス付けのために page.html にあるすべてのリンクを保存しますか?
たとえば、Google がページをクロールしている場合、そのページにはサイトの他の 10 ページへのリンクがある /page.html があります。
それが存在するページであるため、可能なインデックス付けのために page.html のみを追加しますか、それとも可能なインデックス付けのために page.html にあるすべてのリンクを保存しますか?
リンクはまさに、Google のボットがインターネット上を移動してコンテンツを見つける方法です。はい、何らかの方法で除外されていない限り (robots.txt、NOINDEX メタ タグなど)、インデックス作成のキューに入れられます。