問題タブ [urllib]

Python でソース ディレクトリから宛先ディレクトリへの一連のファイルを処理するのと同じように、Web ディレクトリを指定すると、そのディレクトリ内のファイルを一覧表示する関数を作成できるかどうか疑問に思っています。何かのようなもの...

urllib ライブラリを使用する必要があると思いますが、これを行う簡単な方法はないようです。少なくとも私が見たことはあります。

プロキシ（py2.6x）で動作するスクリプトを作成しました：

しかし、py3.11x には urllib2 はなく、urllib だけです...そしてそれは ProxyHandler をサポートしていません

urllib でプロキシを使用するにはどうすればよいですか? Python 3 は Python 2 よりも新しくありませんか? 新しいバージョンで urllib2 を削除したのはなぜですか?

この単純な Python コードが機能しないのはなぜですか?

これは私が得るエラーです:

いくつかの異なるページで試しましたが、urlopenメソッドを正しく実行することはできません。

Python 3.1、urllib、jsonでウェブサイトのURLを開こうとするとエラーが発生します

urllib.error.URLError：

これがコードです。最初のウェブサイトは正常に読み込まれます。2つ目

urllib.error.URLError：

ファイル"c：\ dev \ xdev \ PyJigsaw \ searchContact.py"、46行目、結果= json.load（urllib.request.urlopen（jg_url））

ファイル"c：\ dev \ tdev \ Python31 \ Lib \ urllib \ request.py"、行121、urlopen return _opener.open（url、data、timeout）

ファイル"c：\ dev \ tdev \ Python31 \ Lib \ urllib \ request.py"、349行目、オープンレスポンス= self._open（req、data）

ファイル"c：\ dev \ tdev \ Python31 \ Lib \ urllib \ request.py"、行367、_open'_open'、req）

ファイル"c：\ dev \ tdev \ Python31 \ Lib \ urllib \ request.py"、行327、_call_chain result = func（* args）

ファイル"c：\ dev \ tdev \ Python31 \ Lib \ urllib \ request.py"、行1098、https_open return self.do_open（http.client.HTTPSConnection、req）

ファイル"c：\ dev \ tdev \ Python31 \ Lib \ urllib \ request.py"、1075行目、do_openでURLError（err）を発生させます

urllib2の関数を使用urlopenして、StackOverflow API から JSON の結果を取得しようとしています。

私が使用しているコード:

私が得ている結果：

私は urllib にかなり慣れていませんが、これは得られるべき結果とは思えません。他の場所で試してみたところ、期待どおりの結果が得られました (ブラウザーでアドレスにアクセスした場合と同じように、JSON オブジェクトが返されます)。

urlopen他のサイト (例: " http://google.com ") で使用しても問題なく動作し、実際の html が表示されます。私も使用urllibしてみましたが、同じ結果が得られます。

この問題を解決するためにどこを見ればよいかさえわからず、私はかなり行き詰まっています。何か案は？

そこで、ウェブコミックをダウンロードしてデスクトップのフォルダに配置する Python スクリプトを作成しようとしています。ここで、似たようなことをするいくつかの同様のプログラムを見つけましたが、必要なものとはまったく異なります。私が最も似ていると思ったものはここにあります( http://bytes.com/topic/python/answers/850927-problem-using-urllib-download-images )。私はこのコードを使用してみました：

次に、コンピューターで「00000001.jpg」というファイルを検索しましたが、キャッシュされた画像しか見つかりませんでした。ファイルが自分のコンピューターに保存されたかどうかさえわかりません。ファイルをダウンロードする方法を理解したら、残りの処理方法がわかったと思います。基本的には、for ループを使用して文字列を '00000000'.'jpg' で分割し、'00000000' を最大数までインクリメントします。これを行う最善の方法、またはファイルを正しくダウンロードする方法に関する推奨事項はありますか?

ありがとう！

編集 6/15/10

完成したスクリプトは次のとおりです。選択した任意のディレクトリにファイルが保存されます。何らかの奇妙な理由で、ファイルがダウンロードされていませんでした。それをきれいにする方法についての提案は大歓迎です。現在、特定の数の例外が発生した後にプログラムを終了させるのではなく、サイトに多数のコミックが存在することを確認して、最新のコミックだけを取得する方法を検討しています.

このコードがPython3ではなくPython2で機能する理由を理解しようとするのに本当にうんざりしています。私は、jsonのページを取得して解析しようとしているだけです。Python2のコードは次のとおりです。

Python3の同等のコードは次のようになると思いました。

しかし、read（）によって返されるデータは「バイト」型であるため、私の顔には爆発します。しかし、私は一生の間、jsonが解析できるものに変換することはできません。ヘッダーから、redditがutf-8を返送しようとしていることはわかっていますが、utf-8にデコードするバイトを取得できないようです。

私は何が間違っているのですか？

編集：問題は、データを使用可能な状態にできないことです。jsonがデータを読み込んでも一部が表示されないので、画面にデータを印刷できるようにしたいと思います。

2番目の編集：問題は構文解析よりも印刷に関係しているようです。Alexの回答は、IOをutf8に設定することにより、スクリプトがPython3で機能する方法を提供します。しかし、まだ疑問が残ります。コードがPython 2で機能したのに、Python3では機能しなかったのはなぜですか。

私のPythonアプリケーションは、urllib2モジュールを使用して多くのHTTPリクエストを作成します。このアプリケーションは、待ち時間が短く、パケットのドロップやネットワークのタイムアウトが非常に一般的である可能性がある、非常に信頼性の低いネットワークで使用される可能性があります。urllib2モジュールの一部をオーバーライドして、例外を発生させる前に各リクエストがX回再試行されるようにすることは可能ですか？誰かがこのようなものを見たことがありますか？

urllib2アプリケーション全体を変更せずに、モジュールのラッパーを作成するだけで、これを実現できますか？したがって、このモジュールを使用してリクエストを行うコードは、自動的に再試行機能を使用できるようになります。

ありがとう。

私は Django Web サイトを作成していますが、かなり新しいものです。この webapp では、データベースから要求されたデータを含む xml ファイルを吐き出すこの API を使用する必要があります。基本的に API URL は次のとおりです。

https://adminuser:password@url.to.database.com/database.getdata?arg=1&arg2=0

したがって、私の python views.py には次のものがあります。

http://www.webmonkey.com/2010/02/integrate_web_apis_into_your_django_site/から取得したもの

ただし、次のエラーがすぐに表示されましたusock = u.open(url)

urllib接続が確立できない場合、IOError がスロー されるというドキュメントを読みました。http://docs.python.org/library/urllib.html また、ウィキペディアでは、「Bad record MAC」という致命的なアラートは、「SSL 実装が不適切であるか、ペイロードが改ざんされている可能性があります。例: FTPS サーバーの FTP ファイアウォール ルール」を意味します。 ."

しかし、私が理解していないのは、URL をブラウザーに貼り付けると正常に動作し、XML ファイルが吐き出されるということです。

また、（ロングショットとして）Apacheのインストールである可能性があると考えたのでapachectl -t -D DUMP_MODULES、端末に入力してmod_sslがロードされていることを確認し、共有としてロードされました。

どんなアイデアでも大歓迎です。ありがとう！

私は小さなプロジェクトに取り組んでいて、小さな問題に遭遇しました。私が持っているスクリプトは、Webサイトをフェッチし、ソースHTMLファイルで特定の値を見つける必要があります。値は次のようになります。

現在、ElementTreeライブラリを使用してHTMLドキュメントを解析し、値を見つけようとしていますが、あまり成功していません。私はPythonに本当に慣れていないので、次に何をすべきか本当にわかりません。

私はhttplibとurllib/urllib2を使用してWebサイトに接続し、ログインの詳細などをPOSTしてきましたが、ページからその値を取得する方法が本当にわかりません。'hash'という名前の入力のリクエストを送信できると思いましたが、その方法がわかりません。