crawler4j - Webサイト全体をクロールせずにURLのリストをクロールするcrawler4j

Question

クロールする必要のあるWebURLのリストがあります。深くクロールせずに、Webページのリストのみをクロールすることは可能ですか。URLをシードとして追加すると、完全なWebサイトが完全な深さでクロールされます。

Answer 1

シードとして追加したページのみをクロールするには、MaxDepthOfCrawling を 0 に設定します。

CrawlConfig config = new CrawlConfig();
config.setMaxDepthOfCrawling(0);
PageFetcher pageFetcher = new PageFetcher(config);