問題タブ [httplib]

これは Web マイニング スクリプトの一部です。

qはQueue()URL で構成され、`missing はエラー発生 URL を収集するための空のキューです

10 スレッドで並列に実行されます。

これを実行するたびに、これを取得しました。

しかし、私は使用しexceptます...私は次のような何かを試しました

平、

しかし、これはどれも機能していません..

どうすれば と をキャッチできIncompleteReadますURLErrorか?

Web リクエストの各フェーズにかかる時間に関する統計を収集したいと考えています。httplibオファー:

これらの統計は、のようなより高レベルのインターフェースから利用できますurllib2か? そのような統計を提供する高レベルのライブラリはありますか?

httplibFiddler をリバース プロキシに変換せずに、Fiddler のプロキシを介して Python で作成された HTTPS 要求をトンネリングする方法はありますか?

この例を使用してみました（ここから）：

しかし、それは返します：

編集:このコードは機能します。この問題は、Internet Explorer のプロキシ設定に関連していました。これらの設定でプロキシを設定しないでください。そうしないと、上記のコードが機能しません。

サンプルコードを読むと、まず開いて接続する必要があります

その後、新しい接続を作成せずに複数のリクエストを送信できます。

それで、私は永続的な接続を持っているということですか? または、httplib はリクエストごとに新しい接続を作成しますか? httplib との永続的な接続を確保するには?

次の形式のデータを含むリクエストを送信する必要があります。

通常、XML クエリが含まれます。送信したいサーバーがhttps://some/serverで、プロキシが であるとしproxy:port_numberます。私は次の方法で使用しようとhttplib2しSocksiPyました：

それは機能しますが、応答は望ましいものではありません。明らかに、HTTPS プロキシを使用する必要があるためです (これは同じです)。私は証明書情報を持っていません - 同様の動作する Perl スクリプトはそれを使用せず、プロキシを環境変数として定義します。と定数SocksiPyがありますが、それらの使用方法がわかりません（証明書を定義しないと例外がスローされます）。これを行う方法を教えてください。PROXY_TYPE_SOCKS4PROXY_TYPE_SOCKS5

httplibで使用するのが適切xmlrpclibでしょうか？それらを定義し、機能させるにはどうすればよいですか?

Minecraftサーバーサイト用の基本的なウェブスクレーパーを作成しようとして問題が発生しました。私はPythonにかなり慣れていませんが（C / java / .netに堪能です）、気の毒なことを機能させることができないようです。

到達しようとしています

次のコードは、サイトに正常に到達し、サイトからスクレイピングする範囲で機能します。ただし、返されるページは、playerNameが指定されていないというエラーです。では、パラメータが正しく追加されていないことに何か問題があるはずですか？

私はそれを修正するためにできる限りのことを試みました。助言がありますか？

編集：パラメータを使用せずにこれを行うことは実際には機能します...しかし、私はそれが行われるべき方法であるとは思わない：

私はこのコードを持っています:

self.lbl_statusリクエストが終了するまで変更されないため、最後の関数のために何も表示されませんset_text。

なぜこれが起こっているのか、それを回避/修正する方法は?

Python Webサービスでhttplibを使用して、ファイルオブジェクトを含むパラメーターをURLにPOSTするにはどうすればよいですか。

次のスクリプトを使用しています。

そして、私は次の出力を持っています：

私はそれらの文字列とファイルをDBに保存するためのいくつかのphpコードを書きました。私の問題は、ファイルパスをstingとしてのみ取得し、ファイルを取得しないことです。次のようなファイルオブジェクトを送信する必要があるかもしれません。

しかし、文字列とファイルの両方を送信したいと思います。これを解決するための提案はありますか？

編集 次のようにコードを変更します。httplibを直接使用してPDFファイルをサーバーに送信すると、ファイルはBINファイルとして保存されます。

次のように表示されるリクエストをデバッグしました。

そして、私はリクエストを試しませんでした、Coz私はこれをhttplib（外部ライブラリなし）で解決したいと思います

Python の mechanize ライブラリを使用して、安全な (https) Web サイトを開こうとしています。Web サイトにアクセスしようとすると、サーバーが接続を閉じ、例外 BadStatusLine が発生します。

プロパティを使用してヘッダーを変更しようとしましたaddheadersが、応答がありません。

例外：

トレースバック (最後の最後の呼び出し): File pydev_imports.execfile(file, globals, locals) #スクリプトを実行 File "Z:\pyTax\app_test.py", line 22, in resp=br.open('https:// Incometaxindiaefiling.gov.in/portal/index.do')
ファイル「build\bdist.win32\egg\mechanize_mechanize.py」、203 行目、開いているファイル「build\bdist.win32\egg\mechanize_mechanize.py」、230 行目、_mech_open ファイル "build\bdist.win32\egg\mechanize_opener.py"、188 行目、open ファイル "build\bdist.win32\egg\mechanize_http.py"、316 行目、http_request ファイル "build\bdist.win32 \egg\mechanize_http.py", line 242, in read File "build\bdist.win32\egg\mechanize_mechanize.py", line 203, in open
ファイル "build\bdist.win32\egg\mechanize_mechanize.py"、230 行目、_mech_open ファイル "build\bdist.win32\egg\mechanize_opener.py"、193 行目、開いているファイル "build\bdist.win32\egg\ mechanize_urllib2_fork.py"、344 行目、_open ファイル "build\bdist.win32\egg\mechanize_urllib2_fork.py"、332 行目、_call_chain ファイル "build\bdist.win32\egg\mechanize_urllib2_fork.py"、1170 行目、https_openファイル "build\bdist.win32\egg\mechanize_urllib2_fork.py"、1116 行目、do_open ファイル "D:\Python27\lib\httplib.py"、1031 行目、getresponse response.begin() ファイル "D:\Python27 \lib\httplib.py", line 407, in begin version, status, reason = self._read_status() ファイル "D:\Python27\lib\httplib.py", line 371,in _read_status raise BadStatusLine(line) httplib.BadStatusLine: ''

Python2.5.2が埋め込まれている「企業内部ツール」があります。これは、他のバージョンやプログラミング言語を使用できないことを意味します。したがって、HTTPLIBのコードは次のとおりです。

urllib2のコードは次のとおりです。

これらは両方とも、デフォルトのpython2.5.2インストールで正常に機能しています。入手したツールで同じコードを使用しようとすると、次のエラーが表示されます。

HTTPLIB：

URLLIB2：

私が理解したように、SSLサポートは削除されました。ちなみに、私は自分のライブラリを書くことができ、それらを正しいフォルダに配置することでそれらを機能させることができます。したがって、問題は次のとおりです。プロキシを使用してWebサービスに接続するにはどうすればよいですか。次の例を見つけました： http ：//www.pha.com.au/kb/index.php/Python _-_ Using_a_proxy_for_HTTP_requests

しかし、私の場合は機能していません。これをどのように解決できるかについての提案はありますか？PythonでHTTPSクエリを実行するための個別のプロキシモジュールを構築すると、この問題を解決できるようです。では、この場合の接続手順は何でしょうか？