問題タブ [urllib2]

cookiejar に関する多くのチュートリアルを見てきましたが、私の問題は、スケープしたい Web ページが JavaScript を使用して Cookie を作成し、Cookie を取得できないように見えることです。誰でもこの問題の解決策を持っていますか?

Python と urllib2 でソース IP/インターフェイスを設定するにはどうすればよいですか?

スクリプトはhttps URL（urllib2.Requestおよびurllib2.urlopenを使用）に接続し、ページをスクレイピングし、見つかったものに基づいていくつかのアクションを実行するため、既存のスクリプトに認証プロキシサポートを追加しようとしています. 最初は、urllib2.ProxyHandler({"http": MY_PROXY}) を引数として urllib2.build_opener に追加するだけで、それが urllib2.install_opener に渡されるのと同じくらい簡単だと思っていました。残念ながら、urllib2.Request(ANY_HTTPS_PAGE) を実行しようとすると、これは機能しないようです。グーグルで調べてみると、python 2.5 の urllib2 でのプロキシ サポートは https URL をサポートしていないと思います。これには控えめに言っても驚きました。

たとえば、http://bugs.python.org/issue1424152urllib2には、問題を解決することを目的としたパッチが含まれていますhttplib(問題を試してみると、代わりに次のエラーが発生し始めました: urllib2.URLError: <urlopen error (1, 'error:140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol')>）。ここにクックブックのレシピがありますhttp://code.activestate.com/recipes/456195私は次に試す予定です。全体として、これが「すぐに」サポートされていないことに驚いています。つまり、明らかな解決策を見逃しているだけなのではないかと思います。つまり、httpsページを取得する簡単な方法を誰かが持っていますか? Python 2.5でurllib2で認証プロキシを使用していますか? 理想的には、これはうまくいくでしょう:

どうもありがとう

いくつかのサードパーティのWebAPIを使用するWebアプリを作成していますが、アドホック分析のために低レベルの要求と応答を追跡したいと思います。だから私はPythonのurllib2がHTTP経由で転送されたすべてのバイトをログに記録するレシピを探しています。たぶんサブクラス化されたハンドラー？

これは単一のサブネットでのみ機能する必要があり、悪意のある使用には適していません。

私は基本的に URL で HTTP リクエストをブラストする Python で書かれた負荷テスト ツールを持っています。IP ベースのロード バランサーに対してパフォーマンス テストを実行する必要があるため、リクエストはさまざまな IP から送信される必要があります。ほとんどの市販のパフォーマンス ツールはこの機能を提供していますが、私はそれを独自のツールに組み込みたいと考えています。

このツールは、トランスポートに Python の urllib2 を使用します。リクエストを構成するパケットのスプーフィングされた IP アドレスを使用して HTTP リクエストを送信することは可能ですか?

Python の urllib2 モジュールによってダウンロードされるデータの量を制限する方法はありますか? /dev/random のようなページを持つ壊れたサイトに遭遇することがあり、サーバー上のすべてのメモリを使い果たしていることがわかります。

ボットがイントラネット上の MediaWiki インストールにログインするのに問題があります。ウィキを保護する http 認証によるものだと思います。

事実:

1. wiki ルートはhttps://local.example.com/mywiki/です。
2. Web ブラウザーで Wiki にアクセスすると、企業の資格情報を求めるポップアップが表示されます (これは基本的なアクセス認証だと思います)。

これは私のuser-config.pyにあるものです:

これは私が mywiki_family.py に持っているものです:

login.py -v -v を実行すると、次のようになります。

(「/mywiki」ではなく「local.example.com/w」になっている理由がわかりません。)

example.com/wiki ではなく example.com に対して認証しようとしているのではないかと考えたので、認証行を次のように変更しました。

しかし、IIS から HTTP 401.2 エラーが返されます。

Web サーバーが受け入れるように構成されていない WWW-Authenticate ヘッダー フィールドを Web ブラウザーが送信しているため、指定した資格情報を使用してこのディレクトリまたはページを表示する権限がありません。

これを機能させる方法についての助けをいただければ幸いです。

更新家族ファイルを修正した後、次のように表示されます。

サイト mywiki:en の情報を取得しています ('http エラー', 401, '無許可', ) 警告: 「https://local.example.com/mywiki/index.php?title=Non-existing_page&action=edit&useskin=を開けませんでした」モノブック」。サーバーまたは接続がダウンしている可能性があります。1 分後に再試行しています...

プランの urllib2.ulropen 呼び出しで HTTP ヘッダーを調べたところ、WWW-Authenticate: Negotiate WWW-Authenticate: NTLM を使用しています。私はurllib2を推測しているので、pywikipediaはこれをサポートしていませんか?

更新これを機能させるのに役立つおいしい報奨金を追加しました。python-ntlm を使用して認証できます。これをpywikipediaに統合するにはどうすればよいですか?

urllib2を使用してデータをフォームに投稿しています。問題は、フォームが302リダイレクトで応答することです。Python HTTPRedirectHandlerによると、リダイレクトハンドラーはリクエストを受け取り、POSTからGETに変換し、301または302に従います。POSTメソッドとオープナーに渡されたデータを保持したいと思います。新しいリクエストにdata=req.get_data（）を追加するだけで、カスタムHTTPRedirectHandlerを試行できませんでした。

これは以前に行われたことがあると確信しているので、投稿しようと思いました。

注：これはこの投稿とこれに似ていますが、POSTデータを保持したいだけのリダイレクトを防ぎたくありません。

これが機能しない私のHTTPRedirectHandlerです

以前に Windows XP マシンに Python 2.6.2 をインストールし、次のコードを実行しました。

次のエラーが表示されます。

HTTP応答で文字エンコードを検出する必要があります。<meta http-equiv='content-type'>これを行うには、ヘッダーを確認します。それがcontent-typeヘッダーに設定されていない場合は、応答を確認して" "ヘッダーを探す必要があります。次のような外観と動作をする関数を記述できるようにしたいと思います。

ただし、「detect_html_encoding」メソッドでresponse.read（）を実行すると、関数の呼び出し後の後続のresponse.read（）は失敗します。

応答を確認したり、読んだ後に巻き戻したりする簡単な方法はありますか？