ruby を使用して特定の URL のソース データをスクレイピングしようとしています。まず、 を使用Net::http.new
して http オブジェクトを作成し、 を使用http.post
して適切なログイン データを渡します。これは意図したとおりに機能し、適切なセッション Cookie で応答します。
ログインし、セッション Cookie データをヘッダーに追加した後、スクレイピングしたい特定のページにアクセスしようとします。サーバーは、クエリ文字列 ie. sub.domain.com/path/blah.aspx?md5=jdj456bnn
. 以前に使用したのと同じ手法を使用してそのサブドメインをロードしようとすると、302 を許可されていないユーザーに遭遇しました。その再配置をロードする適切な方法、またはここで何が欠けている可能性があるかを知っている人はいますか?