問題タブ [cookiejar]

ピクルしたい CookieJar を持つオブジェクトがあります。

しかし、ご存知のように、pickle はロック オブジェクトを含むオブジェクトをチョークします。そして、なんらかの恐ろしい理由で、CookieJar にはロック オブジェクトがあります。

これを永続化するにはどうすればよいですか?

私が考えることができる唯一の解決策は、FileCookieJar.save と FileCookieJar.load を stringIO オブジェクトに使用することです。しかし、より良い方法はありますか？

cookiejar に関する多くのチュートリアルを見てきましたが、私の問題は、スケープしたい Web ページが JavaScript を使用して Cookie を作成し、Cookie を取得できないように見えることです。誰でもこの問題の解決策を持っていますか?

スクレイピングしようとしているサイトでは、js を使用して Cookie を作成しています。私が考えていたのは、Python で Cookie を作成し、その Cookie を使用してサイトをスクレイピングできるということでした。しかし、私はそれを行う方法を知りません。誰にもアイデアはありますか？

ご存知かもしれませんが、多くの場合、HTTPサーバーは単なるsession_idCookie以上のものを送信します。ただし、httplib2は次のように辞書を使用してCookieを処理します。

では、どうすれば追加のCookieを設定できますか？辞書で処理する場合、二重のCookieキーを持つことはできません：S。

御時間ありがとうございます。

そのため、msdnや他のチュートリアルでは、HttpCookiesを使用してResponse.Cookies.Add（cookie）を介してCookieを追加するように指示されているため混乱しています。しかし、それが問題です。Response.Cookies.AddはCookieのみを受け入れ、HttpCookiesは受け入れず、次のエラーが発生します。

「System.Net.CookieContainer」から「System.Net.Cookie」に変換できません

さらに、Response.Cookies.Add（cookie）とRequest.CookieContainer.Add（cookie）の違いは何ですか？

事前に助けてくれてありがとう、私はC＃を使って自分自身を教えようとしています。

クッキーを追加したい機械化で使用されているCookieJarがあります。どうすればこれを行うことができますか？make_cookie（）とset_cookie（）は私にとって十分に明確ではありませんでした。

「 GoogleAppEngine」からyahoo.comのメールボックスにログインするPythonコードを見つけようとしています 。 ここ（そのページを表示するには、ここをクリックしてください）私はこのコードを与えられました：

このスクリプトの作成者は、yahooログインフォームのHTMLスクリプトを調べて、このスクリプト を思いつきました。

このログインフォームには、ユーザーのYahoo!用の2つのフィールドが含まれています。IDともう1つはユーザーのパスワード用です。これらの両方のフィールドのそのページのHTMLコードは次のようになります。

ユーザーIDフィールド：

パスワードフィールド：

ただし、このコードをGoogle App Engineにアップロードしたところ、このログインフォームが繰り返し表示されることがわかりました。これは、ログインプロセスが成功しなかったことを意味していると思います。なんでそうなの？

私はこの状況について少し混乱しています。Webサイトにログインするためのスクリプトを作成しています。私はCookieJarを使用していますが、ログイン方法は問題なく機能しています。

cookieJarコンテンツを表示しようとすると：

私は次のようにCookieを取得します：

しかし、私のFirefoxでは、Cookieエディターでそのドメイン（実際にはwwwなし）を探している場合、Googleアナリティクスのドメイン（__utma、__ utmcなど）も表示されます。

このCookieをcjでもキャプチャするにはどうすればよいですか？私の目標は、__utmbcookieコンテンツを変更できるようにすることです。（FFからはできますが、スクリプトからもやりたいです）

ありがとう

アップロードを自動化するためにページへのログインをシミュレートしようとして、CookieJar / HTTPCookieProcessor で liburl2 を使用しています。

これについていくつかの質問と回答を見てきましたが、私の問題を解決するものは何もありません。302 リダイレクトで終了するログインをシミュレートすると、Cookie が失われます。302 応答は、サーバーによって Cookie が設定される場所ですが、urllib2 HTTPCookieProcessor はリダイレクト中に Cookie を保存していないようです。リダイレクトを無視する HTTPRedirectHandler クラスを作成しようとしましたが、うまくいかなかったようです。HTTPRedirectHandler からの Cookie を処理するために CookieJar をグローバルに参照しようとしましたが、1. これは機能しませんでした (リダイレクタからヘッダーを処理していたため、使用していた CookieJar 関数の extract_cookies には完全な要求が必要でした)。 2. それを処理するのは醜い方法です。

私はPythonにかなり慣れているので、おそらくこれに関するガイダンスが必要です。ここではほとんど正しいツリーをほえていると思いますが、間違ったブランチに焦点を合わせている可能性があります。

追加: mechanize も使用してみましたが、成功しませんでした。これはおそらく新しい質問ですが、同じ最終的な目標であるため、ここで提起します。

mechanize を使用するこの単純なコードは、302 を発行する URL (http://fxfeeds.mozilla.com/firefox/headlines.xml) で使用すると、set_handle_robots(False) を使用しない場合に同じ動作が発生することに注意してください。そうではないことを確認したかっただけです：

出力：

何か案は？

curl を使用して Cookie を渡す際に、かなり興味深い問題があります。会社のキュー システムにログインし、成功したログインから Cookie を取得するスクリプトがあります。その後、スクリプトはこれらの Cookie を呼び出して、システムにクエリを実行し、出力を解析します。スクリプトは localhost では問題なく動作しますが、会社のサーバーに移行すると動作しません。Cookie ファイルを作成していますが、すべてのファイルサイズ = 0 バイトです。これはパーミッションの問題だと思いますが、その方法がわかりません (ファイルを chmod 777 するところまで行きました)。最も奇妙なことは、fwrite() を使用して任意のファイルに追加できることです。ここでデバッグを開始する場所がよくわからないので、誰かがアイデアを持っていることを願っています. 以下は、関連するコード スニペットです。

この時点で、Cookie のヘッダーを解析して操作することを試みるのは良い考えかもしれないと考えています....しかし、それは理想的とは言えません。どんな提案でも大歓迎です：D

ありがとうございました！