2

サイトをクロールしようとしていますが、禁止されないようにプロキシを使用する必要があります。

proxies.each do |proxy|
  proxy.delete '""'
  break if @doc = Nokogiri::HTML(open(pre, :proxy => proxy )) rescue nil
end

proxies配列内に動作中のプロキシのリストがあります。preはURLです。このコードからの応答はありません。ゼロです。これを以下のコードに置き換えると動作しますが、IP 禁止のリスクがあります。

doc = Nokogiri::HTML(open(pre))

何かご意見は？

4

1 に答える 1

1

問題は、プロキシの定義のどこかにあります。残念ながら、コードの完全な例を示していないため、ここではお手伝いできません。

適切な定義が文書化されています: http://www.ruby-doc.org/stdlib-2.0/libdoc/open-uri/rdoc/OpenURI/OpenRead.html

于 2013-05-26T18:46:32.837 に答える