問題タブ [urllib]

私はPythonを初めて使用するので、明らかな何かが欠けている場合はご容赦ください。

urllib.FancyURLopenerを使用してWebドキュメントを取得しています。Webサーバーで認証が無効になっている場合は正常に機能しますが、認証が有効になっている場合は失敗します。

私の推測では、get_user_passwd（）メソッドやprompt_user_passwd（）メソッドをオーバーライドするには、urllib.FancyURLopenerをサブクラス化する必要があります。だから私はしました：

次に、ページを開こうとします。

FancyURLopenerが401を処理し、get_user_passwd（）を呼び出して、リクエストを再試行することを期待しています。

そうではありません。「f=opener.open（）」を呼び出すと、IOError例外が発生します。

Wiresharkは、リクエストが送信され、サーバーが2つの対象ヘッダーを含む「401Unauthorized」応答を送信していることを通知します。

その後、接続が閉じられ、例外が発生しました。これですべてです。

IOErrorの後で「f=opener.open（）」を再試行しても、同じように失敗します。

単純な「print'Got401 error'」でhttp_error_401（）メソッドをオーバーライドすることにより、my_opener（）クラスが機能していることを確認しました。また、prompt_user_passwd（）メソッドをオーバーライドしようとしましたが、それも発生しません。

ユーザー名とパスワードを積極的に指定する方法がわかりません。

では、どうすればurllibにリクエストを再試行させることができますか？

ありがとう。

私はUbuntuでpython2.5を使用していますが、同じネットワークに。という名前のマシンがありますmachine1。フォルダは共有されます。

そのマシンの特定のフォルダにファイルを取得するにはどうすればよいですか？

私は試しましたが、成功しませんでした：

取得したいサイトのURLはこちら

https://salami.parc.com/spartag/GetRepository?friend=jmankoff&keywords=antibiotic&option=jmankoff%27s+tags

次のコードでWebサイトを取得し、次のコードでコンテンツを表示すると、次のようになります。

次の出力が得られます。

urllib2でも同じ結果が得られます。興味深いことに、このURLは知床ウェブブラウザv3.5.7でのみ機能します。（私がそれがうまくいくと言うとき、それは私に正しいページをもたらすことを意味します）。このURLをFirefox3.0.15またはKonquerorv4.2.2にフィードすると。まったく同じエラーページが表示されます（「無効な入力データ」が表示されます）。何がこの違いを生み出すのか、Pythonを使用してこのページを取得する方法がわかりません。何か案は？

ありがとう

FancyURLopener() の接続タイムアウトを設定する方法はありますか? 私は FancyURLopener.retrieve() を使用してファイルをダウンロードしていますが、時々動かなくなり、それだけです...これは、まだ接続しようとしていて、接続できないためだと思います。そのタイムアウトを設定する方法はありますか？

いつも返信ありがとうございます

Python2.5とubuntu 8.04を搭載したLinodeからVPSを借りました。pythonシェルからこのコマンドを実行すると:

私は得る：

その理由は何ですか？このモジュールを Python に追加するにはどうすればよいですか? ベーシック版に同梱されていませんか？

PYTHONPATHの問題でしょうか？

urllib（Python）を使用してSVGファイルをフェッチしています：

これは、次のような出力を生成します。

私がこのようにもっと期待していたとき：

これはバイナリとASCIIの問題だと思います。誰かが私（Python初心者）に適切な変換を手伝ってくれるので、SVGコードの解析と操作に取り掛かることができますか？

urllibを使用して定期的にURLをフェッチするプログラムがあり、次のような断続的なエラーが表示されます。

I / Oエラー（ソケットエラー）：[Errno111]接続が拒否されました。

90％の時間は機能しますが、それ以外のr10％は失敗します。失敗した直後にフェッチを再試行すると、成功します。なぜそうなのか理解できません。使用可能なポートがあるかどうかを確認しようとしましたが、使用可能です。デバッグのアイデアはありますか？

追加情報については、スタックトレースは次のとおりです。

編集-グーグル検索はあまり役に立ちません、私がそれから得たのは、私がフェッチしているサーバーが時々接続を拒否するということです、どうすればそれが私のコードのバグではないことを確認できますか？これは確かに事実ですか？

Pythonのurllib2（またはurllib）を使用しているサイトからは読み取れないことがわかりました。例...

これらのサイトは、ブラウザでサイトにアクセスすると機能します。PHPを使用してそれらをスクレイプすることもできます（他の言語は試していません）。同じ問題を抱えている他のサイトを見たことがありますが、現時点ではURLを思い出せません。

私の質問は...

1. この問題の原因は何ですか？
2. 回避策はありますか？

Javascript __doPostBack() 関数でロードされたさまざまなセクションを持つページを解析しようとしています。

リンクの例: javascript:__doPostBack('ctl00$cphMain$ucOemSchPicker$dlSch$ctl03$btnSch','')

これをクリックするとすぐに、ブラウザーは新しい URL を取得しませんが、Web ページのセクションが更新されて新しい情報が反映されます。

操作を完了するには、urllib 関数に何を渡しますか?

を使用するときにPythonでWindowsプロキシ設定を無視したいurllib。私がそれを行うことができた唯一の方法は、InternetExplorerのすべてのプロキシ設定を無効にすることでした。プログラム的な方法はありますか？

os.environ['no_proxy']すべてのアドレスのプロキシを避けたいので、これは良いオプションではありません。