問題: 解決策を見つけるために、いくつかの Web サイト/ブログ/その他を検索しましたが、探していたものにたどり着きませんでした。要するに、問題は、サイトをスクレイピングしたいのですが、そのサイトにアクセスするには、ログインページを通過する必要があるということです。
私がしたこと: urllib2 と httplib を使用してページを開くことができましたが、ログインした後でも (エラーは表示されません)、ブラウザに表示されるログイン ページのリダイレクトは行われません。私のコードは、ここに表示されているものとそれほど違いはありませんでした: Python を使用して Web ページにログインし、後で使用するために Cookie を取得する方法は? ; ただし、Cookie は使用していません。
私は何を探していますか？「ユーザー名」フィールドと「パスワード」フィールド以外に、どのフィールドを探す必要があるのか 完全にはわかりません。スクリプトで実行したいことは、1) .aspx サイトへのログインに成功し、ログインが成功したことを示す何らかのメッセージを表示することです。2) データをスクレイピングできるように、ログイン後に別のページにリダイレクトします。サイトから。3) どのサイトの POST/GET フィールドを収集して、正しいパラメーターを渡しているか、呼び出しているかを確認するにはどうすればよいですか?
支援/ヘルプ/アドバイスをいただければ幸いです。