問題タブ [urllib3]

接続プールがあり、スレッドセーフであるため（特にクロールのパフォーマンスが優れているため）、 urllib3を調べていますが、ドキュメントは...控えめに言っても最小限です。urllib2 には build_opener があるので、次のようになります。

しかし、urllib3 には build_opener メソッドがないため、これまでに見つけた唯一の方法は、ヘッダーに手動で配置することです。

しかし、もっと良い方法があることを願っています。それが何であるかを教えてください。また、誰かがこれに「urllib3」のタグを付けてください。

単純なスレッドで urllib3 を使用して、いくつかの wiki ページを取得しようとしています。スクリプトは

スレッドごとに 1 つの接続を作成し (理由がわかりません)、永久にハングします。urllib3 とスレッドのヒント、アドバイス、または簡単な例

@Lennartのスクリプトで次のエラーが発生しました：

追加後import threadpool; import urllib3、tpool = threadpool.ThreadPool(4)@ user318904 のコードで次のエラーが発生しました。

I am using urllib3 to query an online API over HTTP thousands of times (specifically, over 40,000) one after another.
I've noticed that in the beginning, the HTTP GET's from the API are really fast (< 500ms).
As more and more HTTP requests are being made, the response time slows down to the point of being a few seconds.

My code looks like this:

Am I missing anything? Thanks!

urllib3を使い始めたばかりですが、すぐに問題が発生します。彼らのマニュアルによると、私は簡単な例から始めました：

次のエラーがスローされます。

なぜこれが起こるのかについての手がかりはありますか？どうもありがとう。

タイムアウトにurllib2.request達すると、urllib2.URLError例外が発生します。接続の確立を再試行するpythonicの方法は何ですか?

GoogleAppEngineですばらしいリクエストライブラリを使用しようとしています。AppEngineと互換性のあるリクエストが依存するurllib3のパッチを見つけました。https://github.com/shazow/urllib3/issues/61

私はうまくいくことができます

しかしその後

次のトレースバックで失敗します。どうしたの？

CASを通過するためにPythonを利用している人々の例は見つかりませんでした。ケネス・ライツが「リクエスト」でこれを簡単にする方法を教えてくれることを願っています...

基本的に、CASログインを通過できません...Pythonの試行を認証しません。（2つのURLを定義しました... url1はメインのWebページであり、url2はCASサイトへのリダイレクトリンクです...私はすでにリダイレクトリンクを知っているので、簡単にできます）。

私がしなければならないのは、CASから送信されたJsessionIdをCookieとしてキャプチャし、そのCookieを取得してURLにjsessionidを追加し、ユーザー名/パスワードを使用してPOSTとしてCASに送信することだけです。 ）。ただし、このスクリプトは毎回失敗します。

一部のCASの達人が私を助けてくれますか？なぜそれが私を認証しないのか理解できません。

出力....jsessionIdがurl2に追加される方法に注意してください。これは良いことです.....私は思います。

I'm working on a simple script that involves CAS, jspring security check, redirection, etc. I would like to use Kenneth Reitz's python requests because it's a great piece of work! However, CAS requires getting validated via SSL so I have to get past that step first. I don't know what Python requests is wanting? Where is this SSL certificate supposed to reside?

私は自分の小さな Python アプリケーションを書き、現在の Python スキルでは不十分なところまで書き直しました。まず、パーサーとして Beautiful Soup を使用するシングル スレッド アプリケーションを lxml に変更しました。スクリプトをマルチスレッドにしました。ツイストを発見しましたが、この小さなスニペットをツイストに変更できませんでした。これをここに投稿するだけなので、これを少し速くするためのより良い方向性を教えてくれるかもしれません。15 万ページを取得するには、この時点で 1 時間ほど必要です。最初に書き込もうとしたときは 3 倍遅くなったので、これには満足しています。

これは私のコードです：

エラー：

私はそれをグーグルしますが、何も関係ありません。不思議でわからない…