java - apache lang3でのHTMLユニットの問題を伴うWebScraping

Question

更新: Ghost.py を使用することになりましたが、応答をいただければ幸いです。

私は最近、ストレートな Java/Apache httpd と nio を使用して必要なページをクロールしていますが、実際にはそうではないように見える単純な問題に遭遇しました。ページをクロールするために html ユニットを使用しようとしていますが、以下のコードを実行するたびに、jar が見つからないというコードの進行中にエラーが発生します。残念ながら、この質問には奇妙な部分があるため、ここで答えを見つけることができませんでした。

だから、ここに奇妙な部分があります。最新のjar（lang3）があり、機能するメソッド StringUtils.startsWithIgnoreCase(String string,String prefix) が含まれています。クロールする必要があるため（サンプリングで適切に判断された場合）、数か月にわたって同じサイトの約1000ページをクロールする必要があるため、セレンは本当に避けたいと思います。

必要な特定のバージョンはありますか? 私が見たのは、私が持っている 3-1 に更新するメモだけでした。インストールが機能する場合の方法はありますか？

ありがとう。

私が実行しているコードは次のとおりです。

import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.Page;
import com.gargoylesoftware.htmlunit.RefreshHandler;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlTable;
import com.gargoylesoftware.htmlunit.html.HtmlTableRow;


public class crawl {

public crawl()
{
    //TODO Constructor
    crawl_page();
}


public void crawl_page()
{
    //TODO control the crawling 



    WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10);

    webClient.setRefreshHandler(new RefreshHandler() {
        public void handleRefresh(Page page, URL url, int arg) throws IOException {
            System.out.println("handleRefresh");
        }

    });

        //the url for CA's Megan's law sex off
        String url="http://www.myurl.com" //not my url

        HtmlPage page;
        try {
            page = (HtmlPage) webClient.getPage(url);
            HtmlForm form=page.getFormByName("_ctl0");
            form.getInputByName("cbAgree").setChecked(true);

            page=form.getButtonByName("Continue").click();

            System.out.println(page.asText());


        } catch (FailingHttpStatusCodeException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (MalformedURLException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }




}

}

エラーは次のとおりです。

Exception in thread "main" java.lang.NoSuchMethodError:      org.apache.commons.lang3.StringUtils.startsWithIgnoreCase(Ljava/lang/CharSequence;Ljava/lang/CharSequence;)Z
at com.gargoylesoftware.htmlunit.util.URLCreator$URLCreatorStandard.toUrlUnsafeClassic(URLCreator.java:66)
at com.gargoylesoftware.htmlunit.util.UrlUtils.toUrlUnsafe(UrlUtils.java:193)
at com.gargoylesoftware.htmlunit.util.UrlUtils.toUrlSafe(UrlUtils.java:171)
at com.gargoylesoftware.htmlunit.WebClient.<clinit>(WebClient.java:159)
at ca__soc.crawl.crawl_page(crawl.java:34)
at ca__soc.crawl.<init>(crawl.java:24)
at ca__soc.us_ca_ca_soc.main(us_ca_ca_soc.java:17)