Rを使用して、日本語のテキストをファイルに保存するWebページをスクレイピングしようとしています。最終的には、これをスケーリングして、毎日数百ページに取り組む必要があります。私はすでに Perl で実行可能なソリューションを持っていますが、スクリプトを R に移行して、複数の言語を切り替える際の認知的負荷を軽減しようとしています。これまでのところ、私は成功していません。関連する質問は、csv ファイルの保存に関するものと、ヘブライ語を HTML ファイルに書き込むことに関するもののようです。ただし、そこにある回答に基づいて解決策をまとめることに成功していません。編集: R からの UTF-8 出力に関するこの質問も関連していますが、解決されていません。
ページは Yahoo! からのものです。Japan Finance と私の Perl コードは次のようになります。
use strict;
use HTML::Tree;
use LWP::Simple;
#use Encode;
use utf8;
binmode STDOUT, ":utf8";
my @arr_links = ();
$arr_links[1] = "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7203";
$arr_links[2] = "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7201";
foreach my $link (@arr_links){
$link =~ s/"//gi;
print("$link\n");
my $content = get($link);
my $tree = HTML::Tree->new();
$tree->parse($content);
my $bar = $tree->as_text;
open OUTFILE, ">>:utf8", join("","c:/", substr($link, -4),"_perl.txt") || die;
print OUTFILE $bar;
}
この Perl スクリプトは、以下のスクリーンショットのような CSV ファイルを生成します。このファイルには、オフラインでマイニングおよび操作できる適切な漢字と仮名が含まれています。
私のRコードは、次のようになります。R スクリプトは、HTML を削除してテキストを残さないため、上記の Perl ソリューションの正確な複製ではありません (この回答は R を使用するアプローチを示唆していますが、この場合はうまくいきません)。ループなどはありませんが、意図は同じです。
require(RCurl)
require(XML)
links <- list()
links[1] <- "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7203"
links[2] <- "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7201"
txt <- getURL(links, .encoding = "UTF-8")
Encoding(txt) <- "bytes"
write.table(txt, "c:/geturl_r.txt", quote = FALSE, row.names = FALSE, sep = "\t", fileEncoding = "UTF-8")
この R スクリプトは、以下のスクリーンショットに示す出力を生成します。基本ゴミ。
Perl ソリューションと同様の結果を R で生成できる HTML、テキスト、およびファイル エンコーディングの組み合わせがあると思いますが、それを見つけることができません。スクレイピングしようとしている HTML ページのヘッダーは、チャートセットが utf-8 であり、getURL呼び出しとwrite.table関数のエンコーディングを utf-8 に設定しましたが、これだけでは十分ではありません。
質問 R を使用して上記の Web ページをスクレイピングし、そのテキストを行ノイズのように見えるものではなく、「整形式」の日本語テキストで CSV として保存するにはどうすればよいですか?
編集：ステップを省略したときに何が起こるかを示すために、さらにスクリーンショットを追加しましたEncoding。Unicode コードのように見えるものは得られますが、文字のグラフィック表現は得られません。ある種のロケール関連の問題かもしれませんが、まったく同じロケールで、Perl スクリプトは有用な出力を提供します。ですから、これはまだ不可解です。私のセッション情報: R バージョン 2.15.0 パッチ (2012-05-24 r59442) プラットフォーム: i386-pc-mingw32/i386 (32 ビット) ロケール:
1 LC_COLLATE=English_United Kingdom.1252
2 LC_CTYPE=English_United Kingdom.1252
3 LC_MONETARY =English_United Kingdom.1252
4 LC_NUMERIC=C
5 LC_TIME=English_United Kingdom.1252
添付ベースパッケージ:
1統計 グラフィックス grDevices ユーティリティ データセット メソッド ベース
