python - PythonでサイトをスクレイピングするためにCookieを偽造する

Question

スクレイピングしようとしているサイトでは、js を使用して Cookie を作成しています。私が考えていたのは、Python で Cookie を作成し、その Cookie を使用してサイトをスクレイピングできるということでした。しかし、私はそれを行う方法を知りません。誰にもアイデアはありますか？

Answer 1

リクエストに Cookie を追加する例については、Python httplib2 - HTTP フォーム ポストでの Cookie の処理を​​参照してください。

多くの場合、Web ベースのアプリケーションでタスクを自動化する必要があります。HTTP を介して実際のユーザーのやり取りをシミュレートすることにより、プロトコル レベルでこれを行うのが好きです。Python には、このための 2 つの組み込みモジュールが付属しています: urllib (上位レベルの Web インターフェース) と httplib (下位レベルの HTTP インターフェース)。

Answer 2

より複雑なブラウザー エミュレーション (Cookie の設定を含む) を行いたい場合は、 mechanize を参照してください。そのシミュレーション機能はほぼ完全です (残念ながら Javascript はサポートされていません)。私はこれを使用していくつかのスクレーパーを構築し、多くの成功を収めました。