2

私は Crawler4j のサンプル コードを使用していますが、例外があることがわかりました。

ここに私の例外があります:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/http/conn/scheme/SchemeSocketFactory
    at LocalDataCollectorController.main(LocalDataCollectorController.java:24)
Caused by: java.lang.ClassNotFoundException: org.apache.http.conn.scheme.SchemeSocketFactory

これが私のコードです:

    public static void main(String[] args) throws Exception {

            String root Folder = "D:\\";
            int numberOfCrawlers = 5;
            System.out.println("numberOfCrawlers"+numberOfCrawlers);
            System.out.println(rootFolder);

          CrawlConfig config = new CrawlConfig();
            config.setCrawlStorageFolder(rootFolder);
            config.setMaxPagesToFetch(10);
            config.setPolitenessDelay(1000);

              PageFetcher pageFetcher = new PageFetcher(config);
           RobotstxtConfig robotstxtConfig = new RobotstxtConfig();
            RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher);
            CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer);

            controller.addSeed("http://www.ohloh.net/p/crawler4j");
            controller.start(LocalDataCollectorCrawler.class, numberOfCrawlers);

            List<Object> crawlersLocalData = controller.getCrawlersLocalData();
            long totalLinks = 0;
            long totalTextSize = 0;
            int totalProcessedPages = 0;
            for (Object localData : crawlersLocalData) {
                    CrawlStat stat = (CrawlStat) localData;
                    totalLinks += stat.getTotalLinks();
                    totalTextSize += stat.getTotalTextSize();
                    totalProcessedPages += stat.getTotalProcessedPages();
            }
           System.out.println("Aggregated Statistics:");
            System.out.println("   Processed Pages: " + totalProcessedPages);
            System.out.println("   Total Links found: " + totalLinks);
            System.out.println("   Total Text Size: " + totalTextSize);
    }

}
4

2 に答える 2

5

をダウンロードしHttpClientて、ビルド パスに追加します。

ダウンロード セクションには、すべてのcrawler4jの依存関係を含むパッケージもあります。これ以上の問題を回避するために、これを使用する必要があります。

于 2012-05-03T12:06:40.097 に答える
2

理由NoClassDefFoundErrorは常に同じです。ランタイムの実行中に依存関係クラスを提供していません。つまり、例を実行したときに、クラスパスに HttpClient の JAR ファイルを配置しませんでした。これを行うと、問題はなくなります。

于 2012-05-03T12:04:46.747 に答える