dataset - 解析実験用の膨大な量の平文データ

Question

ルビーで不均一なテキストデータを解析するパーサーを開発しています。そのための十分な数の平文データをどこで入手できるか、誰か教えてもらえますか?

Answer 1

ここでは、多くのリストを取得できます。

http://www.quora.com/Data/Where-can-I-get-large-datasets-open-to-the-public

そして私のお気に入りは：

http://ftp.sunet.se/mirror/archive/ftp.sunet.se/pub/tv+movies/imdb/

Answer 2

ウィキペディアをスクレイピングすることもできます(または単に を介して実行することもできますlynx -dump)。これにより、英語以外のテキストの膨大なソースも得られます。Project Gutenbergは、大量のプレーン テキストのもう 1 つの優れたソースです。