url - URL キューの構築

Question

大規模な Web クローラーで URL キューを構築するにはどちらが適していますか。リンクリストまたはBツリー？

Answer 1

キューを検索する必要がない場合 (通常、キューを検索する必要がない場合) は、リンクされたリストです。

Answer 2

順序が重要である場合（そしてキューが重要である場合）、リンクリスト。キューを検索する必要がある場合は、Bツリーを検索します。

Answer 3

大規模なクローラーを構築している場合は、ほぼ確実にAMQPメッセージキューのようなもの、おそらくRabbitMQを使用したいと思うでしょう。RabbitMQ（および他の多くの同様のMQ）は、かなり通常のインストールで1秒あたり100,000以上のトランザクションを実行します。私はそれを自分のスパイダー/クローラーのセットアップで使用し、それは魅力のように機能します。確かに、似たようなものを最初から作成するよりもはるかに簡単です。