Eventmachine上で実行される高スケーラブルなWebハーベスターでコーディングしています。すべてが正常に高速に動作します。最近、私は一連のプロキシを介してリクエストを実行しようとしています。これも正常に機能します。例:
EventMachine.run do
connect_opts = { :proxy => { :host => '11.12.13.14', :port => 3128 } }
request_opts = { :proxy => { :authorization => ['jdoe', 'mysecretpass'] } }
req = EventMachine::HttpRequest.new('http://www.example.com/', connect_opts).get request_opts
req.callback { }
end
私は数百を超えるプロキシを繰り返し、1秒間に数百のリクエストを実行しています。ここで必要なのは、このメタデータをデータベースに保存するために、どのプロキシがどのリクエストに使用されたかを知ることです。reqオブジェクトからこの情報をどのように取得しますか?
この情報を取得するためのreq.proxy_foo(req.response、req.response_headerなどに相当)のようなメソッドがあることを望みましたが、適切な方法はまだ見つかりませんでした。