問題タブ [urllib]

Web サーバーからディレクトリ全体をダウンロードしています。問題なく動作しますが、ダウンロード前にファイルサイズを取得して、サーバー上で更新されたかどうかを比較する方法がわかりません。これは、FTP サーバーからファイルをダウンロードする場合と同じように実行できますか?

@Jon: 素早い回答ありがとうございます。動作しますが、Web サーバー上のファイルサイズは、ダウンロードしたファイルのファイルサイズよりわずかに小さくなります。

例:

CR/LF 変換と何か関係がありますか?

スケジュールに従ってWebサイトからMP3ファイルをダウンロードし、iTunesに追加したポッドキャストXMLファイルをビルド/更新するために使用する小さなユーティリティがあります。

XMLファイルを作成/更新するテキスト処理はPythonで記述されています。ただし、Windows.batファイル内でwgetを使用して、実際のMP3ファイルをダウンロードします。ユーティリティ全体をPythonで記述したいと思います。

Pythonでファイルを実際にダウンロードする方法を見つけるのに苦労したので、なぜ。を使用することにしwgetました。

では、Pythonを使用してファイルをダウンロードするにはどうすればよいですか？

(ClientCookie は (自動) Cookie 処理のモジュールです: http://wwwsearch.sourceforge.net/ClientCookie )

スクリプトはログインしませんが、ユーザー名とパスワードを要求する同じログイン ページにリダイレクトされるようです。私は何を間違っていますか？

どんな助けでも大歓迎です！ありがとう！

私はテストしている簡単なウェブサイトを持っています。これは localhost で実行されており、Web ブラウザーでアクセスできます。インデックス ページは単に「実行中」という単語です。 urllib.urlopenページを正常に読み取りますが、読み取りurllib2.urlopenません。問題を示すスクリプトを次に示します (これは実際のスクリプトであり、別のテスト スクリプトを簡略化したものではありません)。

スタック トレースは次のとおりです。

何か案は？のより高度な機能が必要になる可能性があるurllib2ため、単に を使用するだけではなくurllib、この問題を理解したいと考えています。

「Tan％u0131m」としてエンコードされた「Tanım」のようなユニコード文字列があります。このエンコードされた文字列を元のユニコードに変換するにはどうすればよいですか。どうやら urllib.unquote はユニコードをサポートしていないようです。

スクリプトを使用してウィキペディアからテキストをダウンロードするために私が見つけた唯一の信頼できる方法は、cURL を使用することです。これまでのところ、それを行う唯一の方法はos.system(). 出力は Python シェルで適切に表示されますが、終了コード ( ) 以外のものを返す関数には思えません0。あるいは、誰かが を適切に使用する方法を示すことができますurllib。

だから私はこの短いスクリプト (正しい言葉ですか?) を書いて、explosm.net コミックからコミック画像をダウンロードしました.

それはうまく動作します。webpage html を取得するための urllib2 と image.retrieve() のための urllib

これを SO に投稿した理由: このコードを最適化するにはどうすればよいですか? REGEX (正規表現) を使用すると高速になりますか? インターネットの制限ですか？アルゴリズムが悪い…？

速度または一般的なコードの美学の改善は、 「回答」として大歓迎です。

ありがとうございました。

- - - - - - - - - - - - - - - - コード - - - - - - - - - -----------------

ちなみに、これは Python 2.5 コードであり、3.0 ではありませんが、私は PYthon 3.0 のすべての機能を大いに研究し、新年の前後に (大学のアプリの後 - YAY! ^-^)

引き続き使用したいスクリプトがありますが、Python 3 のバグの回避策を見つけるか、2.6 にダウングレードして、他のスクリプトもダウングレードする必要があるようです...

うまくいけば、ここの誰かがすでに回避策を見つけていることを願っています。

問題は、バイトと文字列に関する Python 3.0 の新しい変更により、明らかにすべてのライブラリ コードがテストされていないことです。

Web サーバーからページをダウンロードするスクリプトがあります。このスクリプトは、Python 2.6 の URL の一部としてユーザー名とパスワードを渡しましたが、Python 3.0 ではこれが機能しなくなりました。

たとえば、これは次のとおりです。

この例外で失敗します:

どうやら、base64 エンコーディングにはバイトが必要であり、文字列を出力するため、username:password の文字列を構築し、単純な認証のためにこれを base64 エンコードしようとする urlretrieve (またはその中のコード) は失敗します。

代わりに urlopen を使用しようとすると、次のようになります。

次に、次の例外で失敗します。

どうやら、この「次世代 URL 検索ライブラリ」の URL 解析では、URL 内のユーザー名とパスワードをどう処理すればよいかわかりません。

他にどのような選択肢がありますか?

誰かがこれを回避する方法を教えてもらえますか？にデータをフィードすることで取得してcgi.Fieldstorageいますが、他の方法ではできないようです。

これを実行すると：

インタラクティブウィンドウ（PythonWin）でこの出力を取得します。

上記のURLのソースを取得することを期待しています。これは他のコンピューター（学校のコンピューターなど）でも機能することはわかっていますが、これは私のラップトップにあり、ここで何が問題なのかわかりません。また、私はこのエラーをまったく理解していません。どういう意味ですか？Addinfourl？fp？助けてください。