nutch - ナッチクローラーをクロールさせる方法

Question

ウィキを使用している間、私は少し疑問があります。crawl-urlfilter.txt

+^http://([a-z0-9]*\.)*apache.org/

そして、URLフォルダとURLのリストを作成するように求められます...

crawl-urlfilter.txtURLのリスト内およびリスト内にすべてのリンクを作成する必要がありますか...

Answer 1

はいといいえ。

crawl-urlfiler.txt はフィルターとして機能するため、例では apache.org の URL のみがクロールされます

url フォルダーは、クローラーを開始させる「シード」URL を提供します。したがって、クローラーを一連のサイトに留めておきたい場合は、それらがフィルターと確実に一致していることを確認する必要があります.そうしないと、ウェブ全体がクロールされます. これは、サイトのリストをフィルターに入れる必要があることを意味する場合があります