search-engine - Webクローラー用のBFSまたはDFS?

Question

検索エンジン用の単純な Web クローラーの作成を任されました。では、クローラーはどのようにネットを正確にマッピングすればよいのでしょうか? 彼が最初に見つけたリンクをたどって二度と戻らないのか、それとも BFS や DFS などのより高度な検索方法を使用するのか?

Answer 1

質問への回答が少し遅れていることは確かですが、それでも興味深い議論です。

BFSは、*単一のホストへの継続的な要求をある程度回避する*の に役立つため、優れた戦略のようです。ドメインによっても異なります。サーバーのタイムアウトの処理を処理する必要がありますが、DFSは間違いなく何らかの害を及ぼします。繰り返しますが、DFSでは、無限ループで実行される循環参照を持つことができます。明示的な取り決めをしない限り。

他にも適切な選択肢がありますが、私の意見では、DFSとBFSの間でBFSが優先されます。