問題タブ [pycurl]

私はpycurlを使用してグーグルで何かを検索するためのコードを書きました。pycurlを使用してこれを実行できるようにしたいと思いますが、すべての助けに感謝します。用語を検索してから、pycurlを使用して「次のページのボタンをクリック」または「下部のインデックス付きの数字をクリック」して、最初の10件のWeb結果だけを取得できる機能を探しています。

前もって感謝します。

私は、テストの目的でWebページにPythonとPycurlを使用する初心者です。ただし、pycurlは端末に返されたhtmlを出力し続けるため、ストレステストに必要以上の時間がかかります。私が使用しているそのようなpycurlコードの1つを以下に示します。結果をどこにも印刷または書き込むことなく、pycurlを実行する方法はありますか？どんな援助も認められるでしょう。

ここで urllib2 を使用してやりたいことに似たものを見つけました: How to use Python to login to a webpage and retrieve cookies for later use?

彼らの解決策は次のとおりです。

可能であれば、pycurlを使用してこのようなものが欲しいです。任意の支援をいただければ幸いです。

OS X 10.7 Lion に Python 2.7 と gcc-4.2 があるローカル環境に PyCurl をインストールしようとしています。この回答に基づいてこれを試しましたPyCurlのインストール中にエラーが発生しました:

Xcode経由でgcc-4.2をインストールしているため、これは失敗します:

また、ソースをダウンロードして setup.py をビルドしようとしました ( Mac Snow Leopard に PyCurl をインストールしようとしている問題に基づいてこれを修正しました):

これにより、上記と同じエラーが発生します。実際に gcc-4.2 があり、/usr/bin にリンクされていることを確認しました。

インストール時にgcc-4.0の代わりにgcc-4.2を使用することを認識できるように、正しくコンパイルすればうまくいくと思います。ただし、これを行う方法がわかりません。また、特定の gcc を使用するために引数を渡す方法を説明するものも見つかりませんでした。可能であれば、システムのデフォルトを上書きしたくありません。

私は常に、HEADリクエストの代わりにリクエストを実行するGET方が（リソースのサイズに関係なく）高速であるため、特定のソリューションで利点があると考えていました。

ただし、HEADPythonで（5 MB以上の動的に生成されたリソースに対して）リクエストを行うと、GETリクエストを行うのと同じ時間がかかることに気付きました（期待していた「2秒未満」ではなく、ほぼ27秒）。

いくつかのurllib2ソリューションを使用して、HEADここで見つかったリクエストを作成し、さらに使用しましたpycurl（設定headersとnobodyto True）。両方とも同じ時間がかかりました。

概念的に何かが欠けていますか？Pythonを使用して、「クイック」HEADリクエストを実行することは可能ですか？

pycurlを使用してTwitterStreamingAPIからデータをクロールしています。ただし、数時間後、接続はそこでハングします。

これを検出してプログラムを終了する方法はありますか？pycurlにTIMEOUTとCONNECTTIMEOUTがあることは知っていますが、これら2つのパラメーターは適用されません。

Pythonを使用してWebサイトに接続し、HTTPステータスコードを取得しようとしています。私のこの他の質問に対する答えが示唆しているように、google.comなどのWebサイトのHTTPステータスコードが301または302（永続的に移動）である理由は、これらのサーバーがリダイレクトしているためです。しかし、私は彼らから自然な200（OK）を得るような方法でそれらに接続できるようにしたいと思います。これが私の現在のコードです：

これを実現するには、何を変更/追加する必要がありますか？図書館がそれを助けてくれるかもしれないと聞きpycurlましたが、グーグルは今のところ有用な結果をもたらしていません。私はこの分野の初心者ですので、些細なことなら失礼します。

こんにちは、Pycurlを使用しているクローラーにTorを使用してもらいたいです。どうやってやるの？私はhttplibを使用してそれを行う方法を知っています

助けてください。

セキュリティで保護されたサイト (HTTPS) にアクセスするための pycurl スクリプトを作成しようとしています。

以下のエラーが表示されます..

pycurl.error: (60、「SSL 証明書に問題があります。CA 証明書に問題がないことを確認してください。詳細:\nエラー:14090086:SSL ルーチン:SSL3_GET_SERVER_CERTIFICATE:証明書の確認に失敗しました」)

SSL 証明書の取得に失敗したため、コードは失敗しました。

以下の行をコードに追加すると、エラーはなくなりました。

上記のコードは、証明書の検証をスキップします。しかし、「中間者」攻撃を受けます。

ローカルの証明書ストアに SSL 証明書があることはわかっています。証明書をエクスポートしてコードで使用する方法を知っている人はいますか..いくつかのサンプルコードは素晴らしいでしょう..

御時間ありがとうございます！

現在、PycURL を使用して Python スクリプトから Jenkins ジョブをトリガーしています。ただし、PycURL への依存を取り除きたいと考えていますが、これまでのところほとんど成功していません。このシナリオをより複雑にしているのは、ファイルをパラメーターとして送信する必要があることです。リクエストを投稿するための現在の PycURL ロジックは次のようになります。

これを標準の Python ライブラリの機能に置き換えるにはどうすればよいでしょうか?

以前に試してみましたが、その問題に関する私の質問からわかるように、ファイルを正常にアップロードする方法がわからなかったため、あきらめなければなりませんでした。