ruby-on-rails - httparty でサイトを要求するアンチロボット システムの問題

Question

httparty gem を使用して Web サイトをリクエストする際に問題があります: アンチボット システムから退屈なものが返されます) httparty には、リクエスト ヘッダー (UserAgent など) を変更するための標準的な方法はありますか? または他の方法で行うことができますか？

Answer 1

ユーザー エージェントと Cookie のサポートが組み込まれているmechanize gem を使用して、この問題を少し前に解決しました。

簡単な例:

require 'rubygems'
require 'mechanize'

a = Mechanize.new { |agent|
  agent.user_agent_alias = 'Mac Safari'
}

a.get('http://google.com/') do |page|
  search_result = page.form_with(:name => 'f') do |search|
    search.q = 'Hello world'
  end.submit

  search_result.links.each do |link|
    puts link.text
  end
end