問題タブ [cookiejar]

認証Cookieをファイルに保存するために、この回答に基づいて以下のコードを使用しています。これにより、プログラムを実行するたびにログインする必要がなくなります。

現在、通常のセッション Cookie からcsrftokencsrf = s.cookies['csrftoken']を取得することはうまく機能しますが、を使用して cookiejar から取得しようとすると、

s.cookies は現在 LWPCookieJar オブジェクトですが、リストとして扱っているため、これが発生することを理解しています。これにより、2つのオプションが残ると思います。

また：

• オブジェクトからリストを抽出しLWPCookieJar、csrf トークンを取得するのは簡単です。
• または、csrf トークンを から直接取得するための適切な構文を見つけますLWPCookieJar。

これどうやってするの？

Flask と Python を使用して、ユーザーがレポートをダウンロードする特定の月を選択できる localhost で実行されている Web サイトを持っています。選択した月に基づいて、別の Web サイトからデータを取得する Web スクレイピング ファイルをインポートします (ログインが必要です)。私の Web スクレイピング スクリプトは Mechanize を使用しています。

これは、ダウンロード ボタンがクリックされた後に私の Web スクレイピング ファイル (webscrape.py) がインポートされるコードの一部です (選択は office.html で行われます)。

render_template メソッドでは、success=True が引数として渡されるため、私の office.html スクリプトは成功メッセージを表示します。そうでない場合 (GET 要求の場合)、ユーザー選択用のフォームを表示します。これがoffice.htmlの私のスクリプトです：

私が抱えている問題は、さらにダウンロードしたいときです。つまり、初めてダウンロードした後、オフィスのページに戻ってレポートを再度ダウンロードします。2 回目の試行では、成功メッセージが表示されますが、何もダウンロードされません。

mechanize と cookiejar を使用する私の Web スクレイピング スクリプトでは、最初に次の数行のコードがあります。

そして、Webスクレイピングを進めます。

ターミナル (またはコマンド プロンプト) で Web スクレイピング ファイルを実行すると、スクリプトを 2 回または 3 回実行しても問題なく実行されます。そのため、ウェブサイトのコードに問題がある可能性があると思います。

どんな提案でも大歓迎です！代わりにリターンリダイレクトを使用するか、cookiejar の Cookie をクリアしようとするなど、問題を解決するさまざまな方法を試しました。これまでのところ何も機能していないか、メソッドを間違って使用している可能性があります。

前もって感謝します！

CookieJar を新しい requests.Session オブジェクトにロードするにはどうすればよいですか?

これは私が作成したもので、セッションは Cookie を保存しますが、ファイルから Cookie を取得したいと考えています
(セッションは cookieJar をロードする必要があります)。これはどのように達成できますか？
ドキュメントを検索しましたが、コード例しか見つけることができず、cookieJar をロードすることはなく、1 つのセッション中に Cookie を保存するだけです。

Web サイトで Selenium シミュレーション ログを使用しており、Selenium ドライバーから取得した Cookie で urllib を使用したいのですが、このログでクラッシュします。

私のコードはこれらです。修正方法を教えてください。

私が管理する大量の記事の品質を保証するために、Python 3.4 を使用してリンク切れチェッカーを構築しています。最初は GET リクエストを使用してリンクが実行可能かどうかを確認していましたが、確認している URL に ping を実行するときはできる限り適切にしようとしていました。一度ならず、頭のリクエストだけをしようとしました。

ただし、これを単純に停止させるサイトを見つけました。エラーをスローすることも、開くこともありません。

https://www.icann.org/resources/pages/policy-2012-03-07-en

リンク自体は完全に機能します。理想的には、同様のリンクを処理する方法を見つけたいと思います。Python 3.4 のこのコードは、問題を再現します。

エラーがスローされないため、チェッカー全体を停止させたリンクに絞り込む以外に、これをトラブルシューティングする方法が本当にわかりません。このリンクが有効かどうかを確認するにはどうすればよいですか?

golang を使用して Web サイトのプライベート エリアにログインし、情報を取得しようとしましたが、うまくいかないようです。ログインページを取得してcsrfトークンを取得し、csrfトークンをログイン情報とともにログインページに投稿すると、問題なくログインできます。この時点で停止すると、リダイレクト先のページが表示されます。ただし、この時点以降の呼び出しでは、ログインにリダイレクトされます。

コード

ここで何が欠けているのか分かりませんか?