私は投資家で、特定の株式変数をスクレイピングして SQL データベース (特に PE 比率) で分析しようとしています。
私は基本的な Java の本を読みましたが、現在、Web ページからデータを取得してテーブルに格納するためのプログラミング経験がありません。HtmlUnit ページの例を見てきましたが、すべてを適切に機能させる方法がわかりません。
目的:
- Htmlunit を使用して、ウェブサイト テーブルのすべての値をデータ マイニングします
http://ycharts.com/companies/AAPL/historical_data/price# - 値を SQL データベースに保存して分析します。
- すべての株式に対して繰り返し/ループし、データベースにデータを保存します。
これが、タスクを完了するための私の基本的な試みです。
// First, I need to import some Htmlunit libraries, but im not sure which ones yet.
// Code below datamines the PE ratio for aapl?
WebClient webClient = new WebClient();
HtmlPage page = webClient.getPage("http://ycharts.com/companies/AAPL/historical_data/pe_ratio");
HtmlTable table = (HtmlTable)page.getFirstByXPath("//table[@class='histDataTable']");
for (HtmlTableRow row : table.getRows()) {
System.out.println("Found row");
for (HtmlTableCell cell : row.getCells()) {
System.out.println(" Found cell: " + cell.asText());
// Not familiar enough with exceptions, but think i need them somewhere?
// And then when I decide to actually create and update statements, ill need something like?
System.out.println("doing ticker " + ticker + " " + date + " " + pe);
insert.setString(1,ticker);
insert.setDate(2,date);
insert.setDouble(3,pe);
insert.execute();
}catch(PSQLException e)
{
//set update values
update.execute();
}