問題タブ [httplib]

httplib を使用して Python 2.7.2 でクライアントを作成し、Web から URL を取得しています。

私の問題は、リダイレクトの処理方法がわからず、httplib にそのためのオプションがあるかどうかさえわからないことです。もう1つのことは、サーバーでのキャッシュを防ぐ簡単な方法です（修正：プロキシ）（たとえば、ランダムなデータでダミーのクエリ文字列を追加することにより）

とても有難い...

いわゆるページの応答時間を取得するにはどうすればよいですか: リクエストが送信されてから最初のヘッダーのバイトが来るまでの時間?

PS: ここでは、ソケットを扱いたくありません。動作はしますが、生々しすぎます。

PPS: bash で curl を使用すると、次のように実行できます。

別のサービス API に接続するために python27 で Google アプリ エンジン上にアプリケーションを構築しましたが、一般的にすべてがスムーズに動作します。時々、次の2つのエラーのいずれかが表示されます

これらのエラーの最初のもの (ApplicationError: 2) は、通信しているサーバーの一部で発生したエラーであると解釈しますが、これに関する詳細を見つけることができませんでした。責任があります/それを修正できます。

これらのエラーの 2 番目 (ApplicationError: 5) の詳細を見つけましたが、サーバーがアプリケーションとの通信に時間がかかりすぎたことを示唆していますが、タイムアウトを 20 秒に設定したところ、それよりもかなり早く失敗しました。

誰かがエラーへのリンクまたは洞察を提供できれば、特にエラーの原因とそれを修正するために何ができるかを教えていただければ幸いです。

私は例外 HTTPException('ApplicationError: 5 ',) を取り除こうとしています (Google appengine で実行されている) python27 API で httplib を使用しているときに発生します - この投稿で詳しく説明します ApplicationError2 and ApplicationError5 whencommunication with external api from AppEngine . 代わりに httplib2 を使用してみることができるのではないかと考えました。私が見ることができる httplib への呼び出しを行う API の唯一の部分は次のとおりです。

httplib2 のhttplib.HTTPConnection()に直接相当するものはありますか? 検索しましたが、何も見つかりません。

私が取り組んでいるサイトが公開される前にストレステストを行うために、小さな Python スクリプトを作成しました。while(true) ループで以下のコードを実行する新しいスレッドを 5 分ごとに生成することによって動作します。

スレッドが 1 つしかない場合、コードのリクエスト/レスポンスは毎回成功します。新しいスレッドを作成すると、以下のエラーが頻繁に発生します。最終的に、約 10 個のスレッドがある場合、約 90% の確率で失敗します。

httplib が使用する ssl コードがスレッドセーフではないのか、それとも失敗の原因が他にあるのか疑問に思っていました。

次のpythoncurl呼び出しは、次の成功した結果をもたらします。

残念ながら、この呼び出しはurllib2に正常に変換されません。ユーザーが認証資格情報を提供しなかったことを示す別のXML応答を受け取ります。

ちなみに、httplibでも同じエラーメッセージが表示されます。

httplibとurllib2は、SSLがソケットにコンパイルされている場合にのみ機能する可能性があることを理解しています。SSLはソケットのモジュールにコンパイルされています。実際、私は別のAPIでの他の呼び出しにurllib2を正常に使用しました。問題は、この1つの特定のAPIに限定されています。

urllib2（およびhttplib）はcurlとは何が違うのですか？

注：使用されるユーザー名とパスワードは、すべての例で同じです。

アップデート：

問題は、基本認証パスワードマネージャーにあります。基本認証ヘッダーを手動で追加すると、urllib2calは機能します。

ここで小さな問題があります。そのため、よく知られている REST API の呼び出しをいくつか書いています。すべての応答をリストとして表示したいという事実を除いて、すべてが順調に進んでいます（これは私が操作するのに適しています）。私の機能はこれです：

私は split() を使用することに慣れていますが、この場合の結果は次のとおりです。

さて、そこにあるデータの一部を抽出するために、リストとして表示される 3 番目のオブジェクト (0x0000000001F68AC8> の httplib.HTTPMessage インスタンス) も必要です。

前もって感謝します！

Requests (python-requests.org) との接続をどのように閉じるのですか?

httplibですHTTPConnection.close()が、リクエストで同じことを行うにはどうすればよいですか?

コード：

関数を使用してユニコードデータを投稿しようとしていhttplib.requestます:

しかし、これは私のエラーです:

どこが間違っていますか？

問題: 解決策を見つけるために、いくつかの Web サイト/ブログ/その他を検索しましたが、探していたものにたどり着きませんでした。要するに、問題は、サイトをスクレイピングしたいのですが、そのサイトにアクセスするには、ログインページを通過する必要があるということです。

私がしたこと: urllib2 と httplib を使用してページを開くことができましたが、ログインした後でも (エラーは表示されません)、ブラウザに表示されるログイン ページのリダイレクトは行われません。私のコードは、ここに表示されているものとそれほど違いはありませんでした: Python を使用して Web ページにログインし、後で使用するために Cookie を取得する方法は? ; ただし、Cookie は使用していません。

私は何を探していますか？「ユーザー名」フィールドと「パスワード」フィールド以外に、どのフィールドを探す必要があるのか​​ 完全にはわかりません。スクリプトで実行したいことは、1) .aspx サイトへのログインに成功し、ログインが成功したことを示す何らかのメッセージを表示することです。2) データをスクレイピングできるように、ログイン後に別のページにリダイレクトします。サイトから。3) どのサイトの POST/GET フィールドを収集して、正しいパラメーターを渡しているか、呼び出しているかを確認するにはどうすればよいですか?

支援/ヘルプ/アドバイスをいただければ幸いです。