0

商用検索エンジンのクローラーはどのように Web をトラバースしますか: 「シード ページを識別し、接続されたリンクを介して他のページを見つける」または「Web サイト wwwroot ディレクトリの下のすべてのファイルにインデックスを付ける」。

後のオプション検索エンジンの場合、他のページから参照されていないものをインデックス化する必要がありますか?

4

1 に答える 1

1

参照が存在する必要があります。かもね

  • 通常の HTML href でインデックス作成が許可される
  • sitemaps.xml のリンク
  • クローラーに許可された robots.txt のリンク
  • ウェブマスターが検索エンジンのバックオフィスで提供した参照
  • 等

他のリンクである可能性があります。

于 2012-06-22T20:23:02.810 に答える