1

次のような bontyurls.csv というファイルがあります。

http://bontrager.com/model/11383
http://bontrager.com/model/01740
http://bontrager.com/model/09595

スクリプトでそのファイルを読み取り、次のようなファイルを吐き出すようにします: bonty_test_urls_results.csv

url,model_names
http://bontrager.com/model/11383,"Road TLR Conversion Kit"
http://bontrager.com/model/01740,"404 File Not Found"
http://bontrager.com/model/09595,"RXL Road"

ここに私がこれまでに持っているものがあります:

# based on code from here: http://www.andrewsturges.com/2011/09/how-to-harvest-web-data-using-ruby-and.html

require 'nokogiri'
require 'open-uri'
require 'csv'

@urls = Array.new
@model_names = Array.new

urls = CSV.read("bontyurls.csv")
(0..urls.length - 1).each do |index|
  puts urls[index][0]
  doc = Nokogiri::HTML(open(urls[index][0]))
  doc.xpath('//h1').each do |model_name|
    @model_name << model_name.content
  end
end

# write results to file  
CSV.open("bonty_test_urls_results.csv", "wb") do |row|
  row << ["url", "model_names"]
  (0..@urls.length - 1).each do |index|
    row << [
      @urls[index], 
      @model_names[index]]
  end
end

そのコードは機能していません。次のエラーが表示されます。

$ ruby bonty_test_urls.rb 
http://bontrager.com/model/00310
bonty_test_urls.rb:15:in `block (2 levels) in <main>': undefined method `<<' for nil:NilClass (NoMethodError)
    from /home/simon/.rvm/gems/ruby-1.9.3-p194/gems/nokogiri-1.5.5/lib/nokogiri/xml/node_set.rb:239:in `block in each'
    from /home/simon/.rvm/gems/ruby-1.9.3-p194/gems/nokogiri-1.5.5/lib/nokogiri/xml/node_set.rb:238:in `upto'
    from /home/simon/.rvm/gems/ruby-1.9.3-p194/gems/nokogiri-1.5.5/lib/nokogiri/xml/node_set.rb:238:in `each'
    from bonty_test_urls.rb:14:in `block in <main>'
    from bonty_test_urls.rb:11:in `each'
    from bonty_test_urls.rb:11:in `<main>'

少なくとも model_name を返すコードを次に示します。より大きなスクリプトで機能させるのに問題があります：

require 'open-uri'
require 'nokogiri'

doc = Nokogiri::HTML(open("http://bontrager.com/model/09124"))
doc.xpath('//h1').each do |node|
  puts node.text
end

また、404 を返す URL を処理する方法もわかりません。

4

2 に答える 2

2

これは私がそれを行う方法です：

require 'csv'
require 'nokogiri'
require 'open-uri'

CSV_OPTIONS = {
  :write_headers => true,
  :headers => %w[url model_names]
}

CSV.open('bonty_test_urls_results.csv', 'wb', CSV_OPTIONS) do |csv|
  csv_doc = File.foreach('bontyurls.csv') do |url|
    url.chomp!
    begin
      doc = Nokogiri.HTML(open(url))
      h1 = doc.at('h1').text.strip
      h1 = doc.at('title').text.strip.sub(/^Bontrager: /i, '') if (h1.empty?)
      csv << [url, h1]
    rescue OpenURI::HTTPError => e
      csv << [url, e.message]
    end
  end
end

次のような CSV ファイルが生成されます。

url,model_names
http://bontrager.com/model/11383,Road TLR Conversion Kit (Model #11383)
http://bontrager.com/model/01740,404 File Not Found
http://bontrager.com/model/09595,RXL Road (Model #09595)
于 2012-11-01T00:02:20.153 に答える
0

@model_names を宣言しますが、@model_name にプッシュしようとすると、nil になります。

于 2012-11-01T01:30:30.763 に答える