HtmlUnit
今日、ウェブサイトのソースコードをダンプする方法を見つけようとしていたときに、このことについて聞いたばかりです。私がやろうとしているのは、スクリプトを使用してWebサイトからソースコードをダンプすることですが、実行すると、赤の長いリストが表示されます。
これは私が使用しているコードです:
public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException {
String url = "http://www.runelocus.com/forums/member.php?102785&tab=aboutme#aboutme";
WebClient client = new WebClient(BrowserVersion.FIREFOX_3_6);
HtmlPage page = client.getPage(url);
System.out.println(page.getWebResponse().getContentAsString());
}
これは私が得ているエラーです:
Exception in thread "main" org.apache.http.client.ClientProtocolException
at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:822)
at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:776)
at com.gargoylesoftware.htmlunit.HttpWebConnection.getResponse(HttpWebConnection.java:152)
at com.gargoylesoftware.htmlunit.WebClient.loadWebResponseFromWebConnection(WebClient.java:1439)
at com.gargoylesoftware.htmlunit.WebClient.loadWebResponse(WebClient.java:1358)
at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:307)
at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:373)
at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:358)
at HTMLDumping.htmlunittest.main(htmlunittest.java:18)
Caused by: org.apache.http.ProtocolException: Invalid header: blcc_proxy
at org.apache.http.impl.io.AbstractMessageParser.parseHeaders(AbstractMessageParser.java:224)
at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMessageParser.java:259)
at org.apache.http.impl.AbstractHttpClientConnection.receiveResponseHeader(AbstractHttpClientConnection.java:281)
at org.apache.http.impl.conn.DefaultClientConnection.receiveResponseHeader(DefaultClientConnection.java:247)
at org.apache.http.impl.conn.AbstractClientConnAdapter.receiveResponseHeader(AbstractClientConnAdapter.java:219)
at org.apache.http.protocol.HttpRequestExecutor.doReceiveResponse(HttpRequestExecutor.java:298)
at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:125)
at org.apache.http.impl.client.DefaultRequestDirector.tryExecute(DefaultRequestDirector.java:645)
at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:464)
at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:820)
誰かがこれを修正する方法を知っているかもしれないなら、何かを提案してください。すべてのフィードバックを受け入れました。