nutch - 深さの影響、ナッチクロールのトップ

Question

私はいつも、ナッチクロールの深さとトップの効果は何だろうと思っていましたか？たとえば、深さが100で、topnが10000の場合、完全なクロールが保証されると仮定します。深さを1000に変更すると、クロールにかかる時間に影響しますか？それで、なじみのないWebサイトをクロールするために、任意に大きな深さとtopnを与えても大丈夫ですか？

助けてくれてありがとう、

アナント。

Answer 1

depth はルートからのホップ数で、topn は各レベルでフェッチされる最大リンクです。したがって、深さを増やすと、クロールにかかる時間が確実に長くなります。深さを 100 から 1000 に変更すると、クロール時間が大幅に増加します。