ruby-on-rails - Rails で解析するために Web ページをロードする

Question

Web からアプリケーションにページを取得し、そのページで何らかの解析を行いたいとします。それ、どうやったら出来るの？どこから始めればよいですか？いくつかのプラグイン/宝石が必要ですか? そのようなタイプのタスクを解決する際に、あなたは通常どのような方法をとっていますか?

Answer 1

Hpricot ( wiki ) やNokogiriなどの Gem を試してみてください。

Hpricot の例:

require 'open-uri'
require 'rubygems'
require 'hpricot'

html = Hpricot(open(an_url).read)
# This would search for any images inside a paragraph (XPath)
html.search('/html/body//p//img')
# This would search for any images with the class "test" (CSS selector)
html.search('img.test')

のこぎり例：

require 'open-uri'
require 'rubygems'
require 'hpricot'

html = Nokogiri::HTML(open(an_url).read)
# This would search for any images inside a paragraph (XPath)
html.xpath('/html/body//p//img')
# This would search for any images with the class "test" (CSS selector)
html.css('img.test')

一般的にノコギリの方が速いです。どちらのライブラリも多くの機能を備えています。

Answer 2

あなたがやりたいことは「スクレイピング」と呼ばれます

Ryan Bates は、このトピックに関する 2 つの優れたスクリーンキャストを作成しました。

• #190: Nokogiri による画面スクレイピング
• #173 ScrAPIによるスクリーンスクレイピング

個人的にはノコギリの方が好きです。次の回答も確認できます: Best Rails HTML Parser