問題タブ [urlopen]

urllib.urlopenURLからファイルを読み取るために使用しています。ファイル名を取得するための最良の方法は何ですか？サーバーは常にContent-Dispositionヘッダーを返しますか？

ありがとう。

何か間違ったことをしているのかどうかはわかりませんが、Pythonスクリプトがインターネット接続を切断していることは100％確信しています。

HEADリクエストを使用して、主にContent-Lengthが各ファイルの正確なサイズを取得するために、何千ものファイルのヘッダー情報を取得するPythonスクリプトを作成しました。

サンプルコード：

問題は、数時間実行した後、スクリプトがタイムアウトしたurlopenエラーをスローし始め、それ以降、インターネット接続がダウンしていることです。そして、そのスクリプトを閉じた直後に、インターネット接続は常にオンに戻ります。最初は接続が安定していないのではないかと思いましたが、何度か実行したところ、スクリプトの不具合であることがわかりました。

理由はわかりませんが、これはバグと見なす必要がありますよね？または私のISPはそのようなことをするために私を禁止しましたか？（私はすでに各リクエストを10秒待つようにプログラムを設定しました）

ところで、私はVPNネットワークを使用していますが、これと関係がありますか？

この質問に続いて: urllib2.urlopen() がプロキシ経由で接続する原因は何ですか?

どのオペレーティング システムと環境設定が urllib2.urlopen に影響するか知りたいですか?

たとえば、非常に大きな企業内の一部のマシンで、urllib2.urlopen がプロキシ経由での接続を要求していることに気付きました。アプリケーションが接続する必要があるリソースがローカル ネットワーク上にあるため、これは問題です。プロキシをミックスに追加すると、認証の問題が発生します。

Windows 32bit XP / Python 2.4.4 を使用しています

非ASCII文字を含むURLからデータをフェッチする必要がありますが、urllib2.urlopenはリソースを開くことを拒否し、次のように表示します。

URLが標準に準拠していないことは知っていますが、変更する機会はありません。

Pythonを使用して非ASCII文字を含むURLが指すリソースにアクセスする方法は何ですか？

編集：言い換えると、urlopenは次のようなURLを開くことができます/どのように開くか：

こんにちは、問題があります。私はmechanize、python 2.7を使用していくつかのサイトに接続しています（コードは今のところ重要ではありません）サイトのリストがあり、それらに1つずつ接続しています。リストのサイトが存在しない場合、次のエラーが表示されます。

urllib2.URLError: [Errno 11004] getaddrinfo に失敗しました

私はこれを行うことでそれを処理しようとしました:

また

あるいは

しかし、それは働きたくないだけです。

これを解決する方法は？このエラーが発生した場合、「接続に失敗しました」などを出力して、リストの次のアドレスに移動したいだけです。このエラーをキャッチする方法はexcept?

urllib2.urlopenを使用した後に返されるHTTP応答のロケーションヘッダーを解析しようとしていますが、受信する応答ヘッダーはターゲットリダイレクトからのものだけです---ロケーションヘッダーを含む元の応答ではありません。

urllib2.HTTPRedirectHandlerをサブクラス化することを提案するStackOverflowに関する他の質問に従いましたが、urlopenがたどる元の応答にアクセスする方法をまだ理解できません。

問題の例を次に示します。

printの出力には、リダイレクトされた要求のターゲットの応答ヘッダーが含まれます。原作を見たいのですが。

どんな助けでもいただければ幸いです。

編集： 多くのことをいじった後、各ファイルの後に接続を閉じるように指示した場合でも、urllib2が失敗したところでurlgrabberが成功したようです。urllib2 がプロキシを処理する方法、または使用方法に問題があるようです。とにかく、ループ内でファイルを取得するための最も単純なコードは次のとおりです。

皆さんこんにちは ！

urllib2 を介して多数のファイルを取得するための非常に単純な python スクリプトを作成しようとしています。

このスクリプトは、職場でプロキシを介して動作する必要があります (イントラネット上のファイルを取得する場合、つまりプロキシを使用しない場合、私の問題は存在しません)。

このスクリプトは、「HTTPError: HTTP エラー 401: 基本認証に失敗しました」といういくつかのリクエストの後に失敗します。なぜそれが考えられるのですか？プロキシが認証を拒否しているようですが、なぜですか? 最初の 2 つの urlopen リクエストは正しく処理されました。

編集: リクエスト間に 10 秒のスリープを追加して、プロキシによって行われる可能性のある何らかのスロットリングを回避しても、結果は変わりませんでした。

これは私のスクリプトの簡略化されたバージョンです（明らかに識別された情報は削除されています）：

前もって感謝します ！

so i have the code

but then when I run it, it only runs the first m = urllib.request.urlopen(url) and only prints test once even though it supposed to do it twice...

and when i run the debugger, it wouldn’t even go to the print('test') line on the second recursion and would just exit

what did i do wrong?

i'm using python 3

次のコードを使用して、Webサイトからデータを取得しています。

[...]

毎回それほど多くの定型コードを使用せずに、これらすべての例外を処理できる方法はありますか？

ありがとう！