web-crawler - Web クローラーは、クロールするサイトのリストをどこで取得しますか?

Question

検索結果をユーザーに提供するために検索エンジンが実行する基本的な手順はすべて知っていますが、理解できないことが 1 つあります。それは、クロールするサイトのリストを物理的にコンパイルすることです。googlebot のようなプログラムは、検索するウェブサイトの実際のリストをどのように取得するのですか?

Answer 1

クローラーごとに異なる可能性がありますが、最も可能性が高いのはドメイン登録です。