問題タブ [urllib3]

Web ページ インターフェイスを使用して管理できるデバイスがあります。

デバイスアドレスは次のとおりです。

ウェブページの送信ボタンで:

そのWebページのボタンのクリックを自動化するためにpythonモジュールリクエストを使用しようとしています。

何か案は？？

Web API を使用して、Old Bailey Online アーカイブ全体のサブセットを取得しようとしています。

私の問題は、私の実装が遅いだけでなく、サーバーがかなり迅速に (約 10 分) リクエストの処理を停止することです。

現在、urllib3 の開発バージョンを次のように使用しています。

次に、この http プールを使用してすべてのリクエストを実行します。私が選んだ数字はかなりばかげていますが、これまでで最高の 8(

毎年、243 年以上にわたり、さまざまなシナリオで 70 件の同時リクエストを行う必要があります。@shazow ( https://stackoverflow.com/a/24046895/398969に従って python3.4 で動作するように変更) でワーカープールを使用してみました。主にサーバーのタイムアウトと私の無知が原因です。

DNS ルックアップによってかなりの遅延が発生していますか? ドメインがApache仮想ホストであるため、IPを使用できません（または使用できますか？）

スー。本当の質問: 同じサーバーから何十万回も「うまく」タイムリーにダウンロードするにはどうすればよいでしょうか? まだ1日かそこらかかると思います 8)

Pythonrequestsライブラリには、ログの動作に関して、かなり奇妙な癖があるようです。最新の Python 2.7.8 を使用して、次のコードを作成しました。

私のプログラムは正常に終了したように見えますが、作成されるログ ファイル (mylog.txt) 内で常に次の例外を見つけます。

これを削除すると requests.get('http://localhost:9100/notify', params=payload) 、例外はなくなります。

ここで正確に何が間違っているのですか?どうすれば修正できますか? リクエスト v2.4.3 を使用しています。

さまざまな Web サイトからニュースを自動的に取得するのに役立つ Python プログラムを作成しようとしています。現時点では、python3 と Beautifulsoup4 および urllib3 を使用して、リモート ページを取得して解析しています。

このページからテキストを読み込もうとすると、À à é ó... などの非 ASCII 文字が含まれているため、問題が発生します。

ページを取得して変数に入れ、ファイルに書き込む直後にutf-8からページをデコードしようとしましたが、成功しませんでした...そして、この問題にアプローチする別の方法を読んだ後でも、私は理解できませんでした実用的なソリューション。

あなたの誰かが私と同じ状況にあったかどうか疑問に思っていました..

これが私のコードです

マルチスレッドを使用して、URL の txt ファイルを調べ、各 URL で見つかったコンテンツをスクレイピングしようとしています。これは約 20 個の URL で機能しますが (数は一定ではありません)、ファイルの最後の URL で一貫してスタックします。それらを順番に実行していないようです。

なぜ動かなくなったのか、どこから始めればよいのかわかりません。ご協力いただきありがとうございます。

URL のリストの例を次に示します。

urllib3 と美しいスープを使用して、Web サイトのスクレイピングを試みています。Python 3 のエンコーディング/デコーディングがつまずきます。これは私のコードです

美しいスープを呼び出す前にデコードを行ったr.data.decode('utf-8')ので、再度エンコードする必要があるのはなぜですか?文字列に変換した後でも b'' マークが表示されるのはなぜですか?

でユーザー エージェント情報を更新する正しい方法はurllib3どれですか?

ユーザー エージェント情報が実際に変更され、使用されていることを確認するにはどうすればよいですか?

例えば：

PoolManageratを作成するときhttpに調べたところ、デフォルトdir(http)では空で、指定されたユーザー エージェント情報に更新されていましたが、使用されていますか? ログhttp.headersを見ずにチェックする方法はありますか？apache

/var/log/apache2/access.logそして、ユーザーエージェントを更新しようとした後に実際に確認します:

これは、このサイトの別の質問に基づいています: urllib3 を使用してファイルをダウンロードする最良の方法は何ですか。 ただし、そこにコメントすることはできないため、別の質問をします:

urllib3 で (より大きな) ファイルをダウンロードするには?

urllib2 ( Python 3 で web からファイルをダウンロード) で動作する同じコードを使用しようとしましたが、urllib3 では失敗します。

これは、「バイト」オブジェクトには「読み取り」属性がないことを示しています

次に、その質問のコードを使用しようとしましたが、データが常に「0」であるため、無限ループに陥ります。

ただし、メモリ内のすべてを読み取ると、ファイルは正しくダウンロードされます。

非常に大きなファイルをダウンロードする可能性があるため、これはしたくありません。urllib のドキュメントがこのトピックのベスト プラクティスをカバーしていないのは残念です。

(また、リクエストや urllib2 を提案しないでください。自己署名証明書に関しては十分な柔軟性がないためです。)

Ubuntu マシンで Python 2.7.6 を実行しています。twill-shターミナルで (Twill は Web サイトのテストに使用されるブラウザーです)を実行すると、次のようになります。

ただし、Python コンソールで urllib を問題なくインポートできます。その理由は何ですか？