問題タブ [pycurl]

PHP の CURL には慣れていますが、Python で pycurl を使用するのは初めてです。

エラーが発生し続けます：

これが何を意味するのかわかりません。これが私のコードです：

エラーは行を参照していますch.setopt(pycurl.POSTFIELDS, post)

私は最近、何ヶ月も完璧に稼働していたサイトを持っていましたが、突然、おおよその理由もなく、サイト自体をダンプすることにしました。

私はdjango + mod_python + apacheを実行していますが、システムはpycurlライブラリのインポートを無視し始める時が来たと判断しました。

パス、シンボリック リンク、アクセス許可を確認し、pycurl の正確なビルドを再インストールした後も、同じエラーが発生します。奇妙なことに、python 自体にライブラリをロードして問題なくテストを実行できますが、mod_python 内では実行できません。パスを何度もチェックし、それに応じてシステムキャッシュを更新したため、パスが正しく指定されていることはわかっています。

Djangoはエラーをロードしたりスローしたりしません。また、ライブラリをインポートしようとすると、apacheが何もログに記録しません...私はこの問題を2日間調査してきましたが、何も思いつきませんでした.

どんな助けでも大歓迎です。

ここにいくつか追加するだけで、サーバーは最終的な改訂と立ち上げ以来、まったく変更されていません。

サーバーに対する何らかの攻撃を示すすべてのログを確認しましたが、何もありません。存在するのは、問題のエラーが最初に表示され始めたホスティング プロバイダーからの要求だけです。

また、同様の問題: stackoverflow.com/questions/1099981/… - この場合は機能しません。

誰かが疑問に思っている場合に備えて、バージョンは次のとおりです

私は PHP cURL の経験が豊富ですが、ここ数か月は主に Java でコーディングしており、HttpClient ライブラリを利用しています。

私の新しいプロジェクトでは、Python を使用する必要があり、一見同等のライブラリである pycurl と urllib2 の岐路に立たされています。

以前の PHP cURL の経験はさておき、Python で推奨されるライブラリは何ですか? 一方を使用し、もう一方を使用しない理由はありますか? より人気のあるオプションはどれですか?

PythonにはJavaScriptサポートを提供するスクリーンスクレイピングライブラリがありますか？

私は単純なHTMLリクエストにはpycurlを使用し、JavaScriptサポートを必要とするより複雑なリクエストにはJavaのHtmlUnitを使用しています。

理想的には、Pythonからすべてを実行できるようにしたいのですが、それを実行できるライブラリはありません。それらは存在しますか？

パスワードで保護されたページにあるファイルをダウンロードする必要があります。このページに手動でアクセスするには、まず通常のログイン ページで認証する必要があります。curl を使用して、このページをスクリプトで取得したいと考えています。
私のスクリプトは最初にログインします。成功したように見えます。PUT から /login に 200 が返されます。ただし、目的のページのフェッチは 500 で失敗します。

「クッキージャー」を使用しています：

詳細モードでは、必要なファイルをフェッチするときに Cookie が交換されていることがわかります。ここで私の質問: COOKIEJAR を使用すること以外に何かありますか?

Intel Mac OSX10.5でPython2.6を実行しています

pycurl 7.16.2.1（ここで推奨されているようにhttp://curl.haxx.se/mail/curlpython-2009-03/0009.html）をインストールしようとしていますが、何らかの理由で、インストールでlibcurl7.16.3が表示されます。 、それでも私は7.16.2以降をインストールすると主張しています（7.16.3はそれを満たしていませんか？）

エラー出力は次のとおりです。

確かにcurl-config--versionはlibcurl7.16.3を生成します

何かアドバイス？libcurlをアップグレードする必要がありますか、それとも工場出荷時のデフォルトのlibを使用する必要がありますか？

==応答後に詳細を追加==

私が持っているPythonは工場出荷時のデフォルトです（python.orgから自分で取得していません）

そして、これは私のカールバージョンです。PPCではなくIntelMacbookを使用しているため、誤解を招くように見えます。

既存のPythonインタープリターで動作するpycurlを使用します

私はポートを持っています：

大きなURLリストがあります。これを並行してダウンロードし、各応答で返されるヘッダーの1つを確認する必要があります。

並列化にはCurlMultiを使用できます。私は/dev/null本文には興味がなく、ヘッダーだけに興味があるので、fbとして使用できます。

しかし、どうすれば各ヘッダーを確認できますか？

ヘッダーを受け取るには、HEADERFUNCTIONコールバックを設定する必要があります。わかりました。

しかし、このコールバック関数では、ヘッダー付きのバッファーのみを取得します。あるリクエストを別のリクエストと区別するにはどうすればよいですか？

URLと同じくらい多くのコールバック関数を作成するというアイデアは好きではありません。いくつかのクラスとそのクラスのインスタンスを作成する必要がありますか？また、あまり賢くありません。

urllib {2}、pycurlを試しましたが、twistedの新しいhttpクライアントを調べています。だが：

• urllib2でファイルのアップロードを実行するのが難しいことがわかりました
• pycurl multiは正しく見えますが、Pythonicではありません
• ツイストのhttpクライアントは持続的接続をサポートしていません（ファイルアップロード機能をチェックしていません）

他に選択肢はありますか？

わかりましたので、Python を使用していくつかの Web ページをダウンロードする必要があり、オプションを簡単に調査しました。

Python に含まれるもの:

urllib - 代わりに urllib2 を使用する必要があるようです。urllib は Cookie をサポートしておらず、HTTP/FTP/ローカル ファイルのみ (SSL なし)

urllib2 - 完全な HTTP/FTP クライアントで、Cookie などの最も必要なものをサポートしますが、すべての HTTP 動詞をサポートしているわけではありません (GET と POST のみ、TRACE などはサポートしていません)。

フル機能:

mechanize - Firefox/IE の Cookie を使用/保存でき、2 番目のリンクをたどるなどのアクションを実行でき、積極的にメンテナンスされています (2011 年 3 月に 0.2.5 がリリースされました)。

PycURL - curl が行うすべての機能 (FTP、FTPS、HTTP、HTTPS、GOPHER、TELNET、DICT、FILE、および LDAP) をサポートします。悪いニュース: 2008 年 9 月 9 日以降更新されていません (7.19.0)

新しい可能性:

urllib3 - 接続の再利用/プーリングとファイル投稿をサポート

非推奨 (代わりに urllib/urllib2 を使用):

httplib - HTTP/HTTPS のみ (FTP なし)

httplib2 - HTTP/HTTPS のみ (FTP なし)

最初に私を襲ったのは、urllib/urllib2/PycURL/mechanize がすべてうまく機能するかなり成熟したソリューションだということです。mechanize と PycURL は多くの Linux ディストリビューション (Fedora 13 など) と BSD に同梱されているため、通常、インストールは問題になりません (これは良いことです)。

urllib2 は良さそうですが、なぜ PycURL と mechanize の両方が非常に人気があるように見えるのか疑問に思っています。自分にとって最良の選択ができるように、これらの長所と短所についてフィードバックをいただければ幸いです。

編集: urllib2 の動詞サポートに関するメモを追加

文字列を返さない pycurl の READFUNCTION のコールバック関数を作成する方法はありますか? pycurl 経由でバイナリ データのブロックを送信することを計画しています。私はこれを行うコールバック関数を書いてみました:

しかし、pycurl は、戻り値の型は文字列でなければならないというエラーで終了します。