現在、いくつかのRSSフィードをクロールし、アイテムをノードセットに収集しています。これはうまく機能しますが、Nokogiriはいくつかのアイテムでクラッシュします。最初はOSX開発環境に問題があると思ったので、Debianサーバーをインストールしても、まったく同じエラーが発生しました。また、Rubyを1.9.3から1.9.2にダウングレードしてみました。
助言がありますか?
コードの一部:
doc.xpath("//item").remove
nodeset = doc.xpath("//item")
..
api_doc.xpath("//item").each do |node|
node = check_score(node)
unless node.nil?
nodeset << node
end
end
def check_score(node)
if node.xpath('website:attr[@name="imdbscore"]/@value').text.to_i > 6
return node
end
end
# sorting and finally add nodeset to doc.