問題タブ [urllib]

データベースからHTTP PDFをダウンロードするために、Pythonでソフトウェアをプログラミングしています。次のメッセージでダウンロードが停止することがあります。

206 Partial ContentHTTP 機能を使用して、停止したところからダウンロードを再開するにはどうすればよいですか?

を使用して実行できwget -c、かなりうまく機能しますが、Python ソフトウェアに直接実装したいと考えています。

何か案が ？

ありがとうございました

urllib モジュールを使用して、Python 2.6.4 で HTTP リクエストを作成しようとしています。リクエストヘッダーを設定する方法はありますか?

これは urllib2 を使用して可能であると確信していますが、より単純に見えるので、urllib を使用することをお勧めします。

ソケットに接続し、.read（）を使用して応答をキャプチャした後、入力ストリームを解析して行を読み取るにはどうすればよいですか？

CRLFなしでデータが返されるのがわかります

post を使用したときに、post がすべての情報を HTTP ヘッダーで送信したと思いました (明らかに、この件について十分な情報がありません)。そのため、データをkey=value&key2=value2フォーマットに urlencode() する必要がある理由がわかりません。POST を使用する場合、そのフォーマットはどのように機能しますか?:

しかし

「HTTPエラー500：内部サーバーエラー」応答を受け取りましたが、それでもエラーHTML内のデータを読み取りたいと思います。

Python 2.6では、通常、次を使用してページをフェッチします。

失敗したURLでこれを使用しようとすると、例外が発生しますurllib2.HTTPError。

urllib2内部サーバーエラーを返している間に、このようなエラーページ（の有無にかかわらず）を取得するにはどうすればよいですか？

Python 3では、対応する例外は。であることに注意してくださいurllib.error.HTTPError。

単体テストの方法がわからないコードがあります。このモジュールは、urllib2を使用して外部XMLフィード（twitter、flickr、youtubeなど）からコンテンツをプルします。これがそのためのいくつかの擬似コードです：

私の最初の考えは、応答をピクルスにしてテスト用にロードすることでしたが、どうやらurllibの応答オブジェクトはシリアル化できません（例外が発生します）。

私のコードはヘッダー情報も使用しているため、応答本文からXMLを保存するだけでは理想的ではありません。応答オブジェクトに作用するように設計されています。

そしてもちろん、単体テストでデータを外部ソースに依存することは恐ろしい考えです。

では、このための単体テストを作成するにはどうすればよいですか？

urllib を使用して ftp国勢調査サイトから zip ファイル ("tl_2008_01001_edges.zip") をダウンロードしようとしています。入手した zip ファイルの形式と保存方法を教えてください。

私は Python にかなり慣れていないため、urllib の仕組みがわかりません。

これは私の試みです：

ftp フォルダー (この場合は郡) のリストがわかっている場合、glob 関数を使用して ftpサイトのリストを調べることはできますか?

ありがとう。

エクスプロイト db.com サイトを検索すると、25 件の結果しか表示されません。別のページに移動したり、25 件の結果を渡したりするにはどうすればよいですか。

urllib モジュールの urlretrieve を使用しています。

リクエストに User-Agent の説明を追加する方法が見つからないようです。

urlretrieve で可能ですか? または、別の方法を使用する必要がありますか?

URL を操作するスクリプトの作成にほとんど問題はありません。urllib.urlopen() を使用して、目的の URL のコンテンツを取得しています。ただし、これらの URL の一部では認証が必要です。urlopen は、ユーザー名とパスワードを入力するように求めます。認証が必要なすべての URL を無視し、簡単にスキップして続行する必要があります。これを行う方法はありますか? HTTPError の例外をキャッチしようかと思っていたのですが、実は例外は urlopen() メソッドで処理されているのでうまくいきません。

返信ありがとうございます。