java - Web スクレイピングまたは Web マイニング用の Java API

Question

Web スクレイピングに適した Java API を探しています。WEB-Harvest api http://web-harvest.sourceforge.net/usage.phpを試しましたが、少し不格好だと思います。他の提案はありますか？

Answer 1

http://hc.apache.org/httpcomponents-client-ga/

(Maven依存)

<dependency>
  <groupId>commons-httpclient</groupId> 
  <artifactId>commons-httpclient</artifactId> 
  <version>3.1</version> 
</dependency>

Answer 2

httpunit を使用して、本番環境でこのタスクを実行しました。