python - Scrapy pythonでstackoverflowサイトにログインするにはどうすればよいですか

Question

私はスクレイピーの学習を始めたばかりで、python と Scrapy を使っていくつかの prasing を試してみたいと思っています。投稿した特定のタグから質問のリストを取得し、SOで解析することを考えています。

しかし、open id と Scrapy でログに記録する方法がわかりません。

openid を入力すると、サイトが openid url に転送されるため、データを送信する必要がある url についてこれを教えてください。どうすればそこにパスワードを入力できますか

Answer 1

RSSフィード（基本的にはxml）を使用します。

私が考えることができるもう1つの方法は次のとおりです。

Login normally in browser
export cookies to file
use that file in script

fanaticバッジの価値が下がる状況が考えられます。なぜなら、人々はサーバー上でcronをスケジュールして、毎日SOにアクセスするだけだからです。ですから、この種のことは何もしないことをお勧めします。

Answer 2

これは、scrapy を使用してユーザー ログイン リクエストをシミュレートする方法の良い例です。