問題タブ [urllib]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Python は、新しい外国為替ティッカー データを受信するために URL を更新しません。
この Web サイトから更新された外国為替ティッカー データを保存しようとしています: http://forex.offers4u.biz/TickDBReadDB.php?p=EURUSD
更新を押すだけで、ティッカーを更新できます。
小さな python スクリプトを使用すると、テキストが一度保存されますが、もう一度実行すると、同じ古いデータで新しいファイルが作成されます。Pythonが古いURLから新しいデータを読み取れるように、「キャッシュブレーカー」を追加するにはどうすればよいですか?
python - Python 2.4 で urllib を使用してクエリ文字列を解析する
Python2.4.5 を使用して (聞かないでください!) クエリ文字列を解析し、代わりに dict を取得したいと考えています。次のように「手動で」行う必要がありますか?
に有用なメソッドが見つかりませんでしたurlparse。
python - PythonでGmailアトムフィードに自動ログインする方法は？
Gmailには、Atomフィードを取得するためのすばらしい機能があります。
これをブラウザで行うと、認証されて転送されます。しかし、Pythonでは、少なくとも私が試していることは正しく機能していません。
正しく転送する代わりに、これを実行します。
これは悪いです！ユーザー名とパスワードをもう一度入力する必要はありません!! Webブラウザーの場合と同じように、Pythonで自動転送して、すべてのBSがなくてもフィードの内容を取得できるようにするにはどうすればよいですか？
python - Python3: SSL 証明書情報
Python 3 を使用して期限切れの ssl 証明書に関する情報を取得しようとしていますが、できるだけ詳細な調査を取得できるとよいでしょう。テイカーはいますか？これまでのところ、この情報を取得するために urllib.request を使用しようとしましたが (役に立たなかった)、これは誰かを愚かだと思いますか?
古いバージョンの Python を使用した同様の作業の例をいくつか見ましたが、v3 を使用した例はありません。 http://objectmix.com/python/737581-re-urllib-getting-ssl-certificate-info.html http://www.mail-archive.com/python-list@python.org/msg208150.html
python - Squid プロキシ経由で HTTPS 接続のために urllib2 / httplib が HTTP 1.1 と通信するにはどうすればよいですか?
urllib2 を使用して squid プロキシ経由で HTTP 1.1 接続を確立すると、squid は HTTP 1.0 で新しい進行中の接続を確立します。
Squid に 1.1 を宛先サーバーと通信させるにはどうすればよいですか?
javascript - Python を使用して動的 Web サイトのソースを取得する (onclick をバイパスする)
リンクをクリックすると動的に生成される Web サイトのソースを取得したいと考えています。リンク自体は以下の通りです。
これにより、動的に生成された Web サイト (urllib/2) を取得できる URL を直接クエリすることができなくなります。
上記の関数 (HTML) で生成された Web サイトのソースを Python 経由で取得するにはどうすればよいでしょうか? をバイパスする方法はありreturn false" href="#"ますか? またはonclick完全に、実際の URL を取得しますか?
上記の抽象的なリンクから Web サイトを生成する別の方法があり、Python で urllib から取得できるようにする方法がある場合は、その方法を参照してください。
編集：
上記のコードを一般化しましたが、使用するには特定の JavaScript をリバース エンジニアリングする必要があると言われました。
.js へのリンク - http://a.quizlet.com/j/english/create_setku80j8.js
リンクのあるサイトへのリンク:
サイトの実際の URL: http://quizlet.com/create_set/
上記の関連する .js の美化された JS: http://pastie.org/737042
python - urllib2.urlopen() vs urllib.urlopen() - urllib2 は動作中に 404 をスローします! なぜ？
上記のスクリプトは機能し、次の場合に期待される結果を返します。
次のエラーがスローされます。
これがなぜなのか誰か知っていますか？私はプロキシ設定なしでホームネットワーク上のラップトップからこれを実行しています.ラップトップからルーターへ、そしてwww.
python - Python経由のマルチパート/スレッドダウンローダー？
オンラインでスレッド化されたダウンローダーをいくつか見ましたが、マルチパートダウンローダー（HTTP）もいくつか見ました。
私はそれらをクラス/関数として一緒に見たことがありません。
誰かがクラス/関数を持っていて、複数のファイルを取得する必要があるアプリケーションのいずれかにドロップできる場合、私は非常に義務付けられます。
これを行うライブラリ/フレームワーク（またはプログラムのバックエンド）がある場合は、それに向けて指示してください。
python - python mechanize / urllib2にAリクエストのみを使用するように強制しますか？
これは関連する質問ですが、mechanize / urllib2に答えを適用する方法を理解できませんでした：PythonhttplibライブラリにAリクエストのみを使用させる方法
基本的に、この単純なコードを考えると：
これにより、wiresharkは次のように言います。
これは5秒の遅延です。
システムのどこでもIPv6を有効にしていない（gentooでコンパイルされているUSE=-ipv6）ので、PythonにIPv6ルックアップを試す理由はないと思います。
上記の質問は、AF_INET素晴らしいサウンドのソケットタイプを明示的に設定することを提案しました。urllibを強制する方法や、自分で作成したソケットを使用するように機械化する方法がわかりません。
編集：他のアプリにも遅延があったため、AAAAクエリが問題であることがわかっています。また、ipv6を無効にして再コンパイルするとすぐに、問題は解決しました...引き続きAAAAリクエストを実行するPythonを除きます。