問題タブ [urllib2]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

2961 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
4 に答える
10778 参照

python - Pythonurllib2を使用してファイルをダウンロードしています。ファイルサイズの大きさを確認するにはどうすればよいですか？

そして、それが大きい場合...それではダウンロードを停止しますか？12MBを超えるファイルをダウンロードしたくありません。

0 投票する
1 に答える
910 参照

python - urlretrieve は空のファイルを返します

urlretrieve を使用して、次の形式の URL からファイルをダウンロードしようとしています。

http://example.com/download.php?id=6456&name=foo

それでも、何らかの理由で空の応答が返されます。

この質問で提案されている方法を試しましたが、役に立たなかったようです

キー「content-disposition」を含まず、

助言がありますか？

0 投票する
3 に答える
58189 参照

python - URLを介してjsonデータを取得し、Pythonで使用します（simplejson）

これには簡単な答えがあるはずですが、私は苦労しています。URL（jsonを出力する）を取得して、Pythonで使用可能な辞書のデータを取得したいと思います。私は最後のステップで立ち往生しています。

私が間違っているアイデアはありますか？

0 投票する
2 に答える
3067 参照

python - Pythonでいくつかのofxデータを取得します

http://www.jongsma.org/gc/scripts/ofx-ba.pyを使用して、ワコビアから銀行口座情報を取得しようとしていました。運が悪かったので、この例を使用してリクエストデータを手動で作成することにしました。

だから、私はリクエストデータとして使用したいこのファイルを持っています。それをreq.ofxsgmlと呼びましょう：

次に、Pythonで、次のことを試します。

このコマンドは私に500とこのトレースバックを与えます。私の要求の何が問題なのだろうか。

データもヘッダーも気にせずにURLにアクセスします。

そのURLに直接アクセスするのと同じ結果が得られます。

これは非常に明白ですが、単なる観察です。主題に関するすべてはかなり時代遅れのようです。オープンソースへの簡単なpythonofxモジュールを書きたいと思っています。たぶん、私が見つけることができなかった何かがすでに開発されていますか？

編集-上記の情報のフラットマッピングを作成する場合：

そしてそれをurlencodeし、それをデータとしてリクエストを行います

0 投票する
4 に答える
5738 参照

python - Python フェッチ</h1> <div id="body"><p>I want to fetch the title of a webpage which I open using urllib2. What is the best way to do this, to parse the html and find what I need (for now only the -tag but might need more in the future</a> </h3> <div class="s-post-summary--content-excerpt"> </div> <div class="s-post-summary--meta"> <div class="s-post-summary--meta-tags tags js-tags t-cñ t-ûnet t-aspûnet-mvc t-aspûnet-mvc-4 t-actionfilterattribute"> <a href="/tags/python" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">python</a><a href="/tags/urllib2" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">urllib2</a> </div> <div class="s-user-card s-user-card__minimal"> <div class="s-user-card--info"> <div class="s-user-card--link d-flex gs4"> </div> </div> <time class="s-user-card--time" style="margin-left:5px;"> <span title="2022-04-18 08:34:11Z" class="relativetime"> 2009-11-02T09:48:59.420</span></time> </div> </div> </div> </div><div id="question-summary-71909431" class="s-post-summary js-post-summary" data-post-id="71909431" data-post-type-id="1"> <div class="s-post-summary--stats js-post-summary-stats"> <div class="s-post-summary--stats-item s-post-summary--stats-item__emphasized" title="Score of 0"> <span class="s-post-summary--stats-item-number">0</span> <span class="s-post-summary--stats-item-unit">投票する</span> </div> <div class="s-post-summary--stats-item " title="1 answers"> <span class="s-post-summary--stats-item-number">1</span> <span class="s-post-summary--stats-item-unit">に答える</span> </div> <div class="s-post-summary--stats-item " title="2500 views"> <span class="s-post-summary--stats-item-number">2500</span> <span class="s-post-summary--stats-item-unit">参照</span> </div> </div> <div class="s-post-summary--content"> <h3 class="s-post-summary--content-title"> <a href="/questions/1692396" class="s-link">python - Python でカスタム Cookie を含む Web ページを開く</a> </h3> <div class="s-post-summary--content-excerpt"> <p>たとえば、私はクッキーを持っています</p> <p><a href="http://website.com" rel="noreferrer">ページhttp://website.com</a>を開きたい<a href="http://website.com" rel="noreferrer"></a></p> <p>定義済みの Cookie でこれを行うにはどうすればよいですか?</p> </div> <div class="s-post-summary--meta"> <div class="s-post-summary--meta-tags tags js-tags t-cñ t-ûnet t-aspûnet-mvc t-aspûnet-mvc-4 t-actionfilterattribute"> <a href="/tags/python" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">python</a><a href="/tags/cookies" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">cookies</a><a href="/tags/urllib2" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">urllib2</a> </div> <div class="s-user-card s-user-card__minimal"> <div class="s-user-card--info"> <div class="s-user-card--link d-flex gs4"> </div> </div> <time class="s-user-card--time" style="margin-left:5px;"> <span title="2022-04-18 08:34:11Z" class="relativetime"> 2009-11-07T08:11:30.023</span></time> </div> </div> </div> </div><div id="question-summary-71909431" class="s-post-summary js-post-summary" data-post-id="71909431" data-post-type-id="1"> <div class="s-post-summary--stats js-post-summary-stats"> <div class="s-post-summary--stats-item s-post-summary--stats-item__emphasized" title="Score of 0"> <span class="s-post-summary--stats-item-number">0</span> <span class="s-post-summary--stats-item-unit">投票する</span> </div> <div class="s-post-summary--stats-item " title="2 answers"> <span class="s-post-summary--stats-item-number">2</span> <span class="s-post-summary--stats-item-unit">に答える</span> </div> <div class="s-post-summary--stats-item " title="626 views"> <span class="s-post-summary--stats-item-number">626</span> <span class="s-post-summary--stats-item-unit">参照</span> </div> </div> <div class="s-post-summary--content"> <h3 class="s-post-summary--content-title"> <a href="/questions/1698487" class="s-link">python - Python: 302 からの appengine urllib2 ヘッダー</a> </h3> <div class="s-post-summary--content-excerpt"> <p>通常は正常に<code>urllib2</code>機能します。</p> <p>しかし、appengine では、同じコードで<code>text/html</code>.</p> <p>これを回避できますか？なぜこうなった？</p> </div> <div class="s-post-summary--meta"> <div class="s-post-summary--meta-tags tags js-tags t-cñ t-ûnet t-aspûnet-mvc t-aspûnet-mvc-4 t-actionfilterattribute"> <a href="/tags/python" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">python</a><a href="/tags/google-app-engine" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">google-app-engine</a><a href="/tags/header" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">header</a><a href="/tags/urllib2" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">urllib2</a> </div> <div class="s-user-card s-user-card__minimal"> <div class="s-user-card--info"> <div class="s-user-card--link d-flex gs4"> </div> </div> <time class="s-user-card--time" style="margin-left:5px;"> <span title="2022-04-18 08:34:11Z" class="relativetime"> 2009-11-09T00:32:22.537</span></time> </div> </div> </div> </div><div id="question-summary-71909431" class="s-post-summary js-post-summary" data-post-id="71909431" data-post-type-id="1"> <div class="s-post-summary--stats js-post-summary-stats"> <div class="s-post-summary--stats-item s-post-summary--stats-item__emphasized" title="Score of 0"> <span class="s-post-summary--stats-item-number">0</span> <span class="s-post-summary--stats-item-unit">投票する</span> </div> <div class="s-post-summary--stats-item " title="2 answers"> <span class="s-post-summary--stats-item-number">2</span> <span class="s-post-summary--stats-item-unit">に答える</span> </div> <div class="s-post-summary--stats-item " title="6329 views"> <span class="s-post-summary--stats-item-number">6329</span> <span class="s-post-summary--stats-item-unit">参照</span> </div> </div> <div class="s-post-summary--content"> <h3 class="s-post-summary--content-title"> <a href="/questions/1704754" class="s-link">python - urllib2 によって取得された gzip 圧縮されたデータを HTML に変換します</a> </h3> <div class="s-post-summary--content-excerpt"> <p>私は現在、以下のように gzip された Web ページを読むために mechanize を使用しています。</p> <p>urllib2 によって取得された gzip 圧縮されたデータを HTML テキストに解凍する方法を教えてください。</p> </div> <div class="s-post-summary--meta"> <div class="s-post-summary--meta-tags tags js-tags t-cñ t-ûnet t-aspûnet-mvc t-aspûnet-mvc-4 t-actionfilterattribute"> <a href="/tags/python" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">python</a><a href="/tags/gzip" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">gzip</a><a href="/tags/urllib2" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">urllib2</a> </div> <div class="s-user-card s-user-card__minimal"> <div class="s-user-card--info"> <div class="s-user-card--link d-flex gs4"> </div> </div> <time class="s-user-card--time" style="margin-left:5px;"> <span title="2022-04-18 08:34:11Z" class="relativetime"> 2009-11-09T23:55:18.823</span></time> </div> </div> </div> </div><div id="question-summary-71909431" class="s-post-summary js-post-summary" data-post-id="71909431" data-post-type-id="1"> <div class="s-post-summary--stats js-post-summary-stats"> <div class="s-post-summary--stats-item s-post-summary--stats-item__emphasized" title="Score of 0"> <span class="s-post-summary--stats-item-number">0</span> <span class="s-post-summary--stats-item-unit">投票する</span> </div> <div class="s-post-summary--stats-item " title="1 answers"> <span class="s-post-summary--stats-item-number">1</span> <span class="s-post-summary--stats-item-unit">に答える</span> </div> <div class="s-post-summary--stats-item " title="1894 views"> <span class="s-post-summary--stats-item-number">1894</span> <span class="s-post-summary--stats-item-unit">参照</span> </div> </div> <div class="s-post-summary--content"> <h3 class="s-post-summary--content-title"> <a href="/questions/1706644" class="s-link">python - URLLIB2 を使用したクライアント ダイジェスト認証 Python は認証ヘッダー情報を記憶しません</a> </h3> <div class="s-post-summary--content-excerpt"> <p>Python を使用して、ダイジェスト認証を使用するカスタム http サーバーに接続するクライアントを作成しようとしています。最初のリクエストを問題なく接続してプルできます。TCPDUMP を使用すると (私は MAC OS X を使用しています。私は MAC と Python の初心者です)、RFC2617 に精通している場合に予想されるように、最初の要求が実際には 2 つの http 要求であることがわかります。最初の結果は 401 UNAUTHORIZED です。サーバーから送り返されたヘッダー情報は、200 OK 応答とペイロードを生成するいくつかのカスタム Authorization ヘッダー値を持つ 2 番目の要求のヘッダーを生成するために正しく使用されます。</p> <p>すべてが素晴らしいです。urllib2 のおかげで、私の HTTPDigestAuthHandler オープナーは機能しています。</p> <p>同じプログラムで、同じサーバーから 2 番目の別のページを要求しようとしました。RFC によると、TCPDUMP は今回は 1 つの要求のみを表示し、ほぼすべて同じ認証ヘッダー情報を使用すると予想されます (nc はインクリメントする必要があります)。</p> <p>代わりに、ゼロから始めて、最初に 401 を取得し、200 に必要な情報を再生成します。</p> <p>urllib2 を使用して、ダイジェスト認証を使用した後続のリクエストで既知の認証ヘッダー値をリサイクルし、1 つのリクエストのみを実行することは可能ですか?</p> <p>[意味がわかるまで数回読み直してください。これ以上分かりやすくする方法がわかりません]</p> <p>Google は驚くほど成果を上げていないので、そうではないと思います。私は urllib2.py のコードとその非常に厄介なコード (「これはすばらしい努力ではありません」などのコメント) を見たので、これがバグであったとしてもショックを受けません。接続ヘッダーが閉じていることに気付きました。キープアライブに設定しても、上書きされます。それは私を keepalive.py に導きましたが、それも私にとってはうまくいきませんでした。</p> <p>Pycurlも機能しません。</p> <p>インタラクション全体を手作業でコーディングできますが、可能な場合は既存のライブラリに便乗したいと考えています。</p> <p>要約すると、urllib2 とダイジェスト認証を使用して、同じサーバーから 2 つのページを取得し、3 つの http 要求のみを実行することは可能ですか (最初のページに 2 つ、2 つ目のページに 1 つ)。</p> <p>以前にこれを試したことがあり、それが不可能であることをすでに知っている場合は、お知らせください。別の方法がある場合は、私はすべての耳です。</p> <p>前もって感謝します。</p> </div> <div class="s-post-summary--meta"> <div class="s-post-summary--meta-tags tags js-tags t-cñ t-ûnet t-aspûnet-mvc t-aspûnet-mvc-4 t-actionfilterattribute"> <a href="/tags/python" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">python</a><a href="/tags/authentication" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">authentication</a><a href="/tags/urllib2" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">urllib2</a><a href="/tags/digest" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">digest</a> </div> <div class="s-user-card s-user-card__minimal"> <div class="s-user-card--info"> <div class="s-user-card--link d-flex gs4"> </div> </div> <time class="s-user-card--time" style="margin-left:5px;"> <span title="2022-04-18 08:34:11Z" class="relativetime"> 2009-11-10T09:29:13.153</span></time> </div> </div> </div> </div><div id="question-summary-71909431" class="s-post-summary js-post-summary" data-post-id="71909431" data-post-type-id="1"> <div class="s-post-summary--stats js-post-summary-stats"> <div class="s-post-summary--stats-item s-post-summary--stats-item__emphasized" title="Score of 0"> <span class="s-post-summary--stats-item-number">0</span> <span class="s-post-summary--stats-item-unit">投票する</span> </div> <div class="s-post-summary--stats-item " title="1 answers"> <span class="s-post-summary--stats-item-number">1</span> <span class="s-post-summary--stats-item-unit">に答える</span> </div> <div class="s-post-summary--stats-item " title="577 views"> <span class="s-post-summary--stats-item-number">577</span> <span class="s-post-summary--stats-item-unit">参照</span> </div> </div> <div class="s-post-summary--content"> <h3 class="s-post-summary--content-title"> <a href="/questions/1735852" class="s-link">python - urllib2にプロキシサーバーを設定しましたが、変更できません</a> </h3> <div class="s-post-summary--content-excerpt"> <p>タイトルが言うように、私のコードは基本的にこれを行います：</p> <p>プロキシを設定し、プロキシをテストし、いくつかのクールなことをします</p> <p>ただし、プロキシが最初に設定された後は、そのように固定され、変更されることはありません。これは失敗したコードです：</p> <p>出力は次のようになります。</p> <p>私は今本当に困惑しています。</p> <p>御時間ありがとうございます。</p> <p>PD：自宅のIPアドレスから応答するスクリプトは、$ _SERVER['REMOTE_ADDR']をエコーするPHPです。</p> </div> <div class="s-post-summary--meta"> <div class="s-post-summary--meta-tags tags js-tags t-cñ t-ûnet t-aspûnet-mvc t-aspûnet-mvc-4 t-actionfilterattribute"> <a href="/tags/python" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">python</a><a href="/tags/proxy" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">proxy</a><a href="/tags/urllib2" class="post-tag flex--item mt0 js-tagname-cñ" title="" rel="tag">urllib2</a> </div> <div class="s-user-card s-user-card__minimal"> <div class="s-user-card--info"> <div class="s-user-card--link d-flex gs4"> </div> </div> <time class="s-user-card--time" style="margin-left:5px;"> <span title="2022-04-18 08:34:11Z" class="relativetime"> 2009-11-14T22:36:53.487</span></time> </div> </div> </div> </div> </div> <br class="cbt"> <div class="s-pagination site1 themed pager float-left"> <a class="s-pagination--item js-pagination-item " href="/tags/urllib2?p=1" rel="" title="Go to page 2">1</a><a class="s-pagination--item js-pagination-item " href="/tags/urllib2?p=2" rel="" title="Go to page 2">2</a><a class="s-pagination--item js-pagination-item " href="/tags/urllib2?p=3" rel="" title="Go to page 2">3</a><a class="s-pagination--item js-pagination-item " href="/tags/urllib2?p=4" rel="" title="Go to page 2">4</a><a class="s-pagination--item js-pagination-item " href="/tags/urllib2?p=5" rel="" title="Go to page 2">5</a><a class="s-pagination--item js-pagination-item " href="/tags/urllib2?p=6" rel="" title="Go to page 2">6</a><a class="s-pagination--item js-pagination-item " href="/tags/urllib2?p=7" rel="" title="Go to page 2">7</a><a class="s-pagination--item js-pagination-item is-selected" href="/tags/urllib2?p=8" rel="" title="Go to page 2">8</a><a class="s-pagination--item js-pagination-item " href="/tags/urllib2?p=9" rel="" title="Go to page 2">9</a><a class="s-pagination--item js-pagination-item " href="/tags/urllib2?p=10" rel="" title="Go to page 2">10</a></div> </div> <div id="sidebar" class="show-votes" role="complementary" aria-label="sidebar"> <div class="module js-gps-related-tags" id="related-tags"> <h4 id="h-related-tags">Reference</h4> <div data-name="javascript"> <a href="https://php.github.net.cn" class="post-tag no-tag-menu js-gps-track" >php</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">1429865</span> </span> </div> <div data-name="javascript"> <a href="https://c-cpp.com" class="post-tag no-tag-menu js-gps-track" >c/c++</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">756500</span> </span> </div> <div data-name="javascript"> <a href="https://nginx.github.net.cn" class="post-tag no-tag-menu js-gps-track" target="_blank">nginx</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">49975</span> </span> </div> <div data-name="javascript"> <a href="https://mongodb.net.cn" class="post-tag no-tag-menu js-gps-track" >mongodb</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">159057</span> </span> </div> <div data-name="javascript"> <a href="https://mybatis.net.cn" class="post-tag no-tag-menu js-gps-track" >mybatis</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">3233</span> </span> </div> <div data-name="javascript"> <a href="https://anaconda.org.cn" class="post-tag no-tag-menu js-gps-track" >anaconda</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">13410</span> </span> </div> <div data-name="javascript"> <a href="https://pycharm.net.cn" class="post-tag no-tag-menu js-gps-track" >pycharm</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">14671</span> </span> </div> <div data-name="javascript"> <a href="https://python.github.net.cn" class="post-tag no-tag-menu js-gps-track" >python</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">1902243</span> </span> </div> <div data-name="javascript"> <a href="https://vscode.github.net.cn" class="post-tag no-tag-menu js-gps-track" >vscode</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">56040</span> </span> </div> <div data-name="javascript"> <a href="https://dockerdocs.cn" class="post-tag no-tag-menu js-gps-track" >docker</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">110988</span> </span> </div> <div data-name="javascript"> <a href="https://github.net.cn" class="post-tag no-tag-menu js-gps-track" >github</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">49000</span> </span> </div> <div data-name="javascript"> <a href="https://flask.github.net.cn" class="post-tag no-tag-menu js-gps-track" >flask</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">49129</span> </span> </div> <div data-name="javascript"> <a href="https://ffmpeg.github.net.cn" class="post-tag no-tag-menu js-gps-track" >ffmpeg</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">24037</span> </span> </div> <div data-name="javascript"> <a href="https://jmeter.net" class="post-tag no-tag-menu js-gps-track" >jmeter</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">16910</span> </span> </div> <div data-name="javascript"> <a href="https://matplotlib.net" class="post-tag no-tag-menu js-gps-track" >matplotlib</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">63493</span> </span> </div> <div data-name="javascript"> <a href="https://getbootstrap.net" class="post-tag no-tag-menu js-gps-track" >bootstrap</a> <span class="item-multiplier"><span class="item-multiplier-x">×</span> <span class="item-multiplier-count">54641</span> </span> </div> </div> </div> </div> </div> <footer id="footer" class="site-footer js-footer" role="contentinfo"> <div class="site-footer--container"> <div class="site-footer--logo"> <a href="https://stackoverflow.com"><svg aria-hidden="true" class="native svg-icon iconLogoGlyphMd" width="32" height="37" viewBox="0 0 32 37"><path d="M26 33v-9h4v13H0V24h4v9h22Z" fill="#BCBBBB"/><path d="m21.5 0-2.7 2 9.9 13.3 2.7-2L21.5 0ZM26 18.4 13.3 7.8l2.1-2.5 12.7 10.6-2.1 2.5ZM9.1 15.2l15 7 1.4-3-15-7-1.4 3Zm14 10.79.68-2.95-16.1-3.35L7 23l16.1 2.99ZM23 30H7v-3h16v3Z" fill="#F48024"/></svg></a> </div> <nav class="site-footer--nav"> <div class="site-footer--col"> <h5 class="-title"><a href="https://stackoverflow.jp" class="js-gps-track" data-gps-track="footer.click({ location: 3, link: 15})">Stack Overflow 日本語サイト</a></h5> <p>CC BY-SA知識共有ライセンス契約に従う。</p> </div> </nav> </div> </footer> <script> var _hmt = _hmt || []; (function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?709ff2ad9744e86b5b0eee677fc13ede"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })(); </script> <!-- Google tag (gtag.js) --> <script async src="https://www.googletagmanager.com/gtag/js?id=G-1MW5BV8G8E"></script> <script> window.dataLayer = window.dataLayer || []; function gtag(){dataLayer.push(arguments);} gtag('js', new Date()); gtag('config', 'G-1MW5BV8G8E'); </script> <script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js?client=ca-pub-6117966252207595" crossorigin="anonymous"></script> </body> </html>