1

URLがcrawler4jで404または301であるかどうかを取得することは可能ですか?

@Override
    public void visit(Page page) {
        String url = page.getWebURL().getURL();
        System.out.println("URL: " + url);

        if (page.getParseData() instanceof HtmlParseData) {
            HtmlParseData htmlParseData = (HtmlParseData) page.getParseData();
            String text = htmlParseData.getText();
            String html = htmlParseData.getHtml();
            List<WebURL> links = htmlParseData.getOutgoingUrls();

            System.out.println("Text length: " + text.length());
            System.out.println("Html length: " + html.length());
            System.out.println("Number of outgoing links: " + links.size());
        }
    }

クローラーコードでこれを使用しています。誰か教えてもらえますか?

4

1 に答える 1

2

Crawler4j バージョン 3.3 (2012 年 2 月リリース) - 取得したページの http ステータス コードの処理をサポートする Crawler4j。

StatusHandlerCrawlerExample にアクセスするには、クリックします。

また、Jsoup (最高の DOM、CSS、jquery を備えた Java HTML パーサー) を使用してページを解析することもできます。ここに例があります- 指定された URL からページをダウンロードし、ページのステータス コードを取得する方法を示します。クロールには Crawler4j を使用し、ページのフェッチには Jsoup を使用する必要があると思います。

于 2013-02-07T12:44:07.403 に答える