問題タブ [libcurl]

CURLを使用してURLの存在を確認しています（HEADリクエスト）が、でテストするとwww.google.com、リダイレクトされますwww.google.co.uk-おそらく私のサーバーが英国ベースであるためです。

これを防ぐ方法はありますか？CURLOPT_FOLLOWLOCATIONこれは301リダイレクトなどに役立つため、このオプションを削除したくありません。

私のコードの一部は以下のとおりです。

$data['url']私が設定しwww.google.co.ukたときに含まれています$urlwww.google.com

クライアントからの要求に応答する単純なRESTサービスを作成しています。すべてPHPで。

私の懸念は、サーバーがリクエストに応答するときに、クライアント側が「ok」応答を返すのが遅すぎると、リソースを占有してしまう可能性があることです。

lib_curlを介してPOSTリクエストを送信し、応答を待たずに、POSTデータが送信された直後に終了するように設定するにはどうすればよいですか？

これも可能ですか？ありがとうございました ！

PHP (および cURL) を使用して単純な Web クローラーを作成しました。これはおよそ 60,000 の html ページを解析し、製品情報を取得します (イントラネット上のツールです)。

私の主な関心事は、同時接続です。接続数を制限したいので、何が起こっても、クローラーは 15 を超える同時接続を決して使用しません。

IP による 25 の同時接続の制限に達すると、サーバーは IP をブロックします。何らかの理由で、サーバー側でそれを変更することはできないため、スクリプトが X を超える同時接続を使用しないようにする方法を見つける必要があります。 .

これは可能ですか？

それとも、全体を別の言語で書き直すべきでしょうか?

ありがとう、助けていただければ幸いです！

Intel Mac OSX10.5でPython2.6を実行しています

pycurl 7.16.2.1（ここで推奨されているようにhttp://curl.haxx.se/mail/curlpython-2009-03/0009.html）をインストールしようとしていますが、何らかの理由で、インストールでlibcurl7.16.3が表示されます。 、それでも私は7.16.2以降をインストールすると主張しています（7.16.3はそれを満たしていませんか？）

エラー出力は次のとおりです。

確かにcurl-config--versionはlibcurl7.16.3を生成します

何かアドバイス？libcurlをアップグレードする必要がありますか、それとも工場出荷時のデフォルトのlibを使用する必要がありますか？

==応答後に詳細を追加==

私が持っているPythonは工場出荷時のデフォルトです（python.orgから自分で取得していません）

そして、これは私のカールバージョンです。PPCではなくIntelMacbookを使用しているため、誤解を招くように見えます。

既存のPythonインタープリターで動作するpycurlを使用します

私はポートを持っています：

POSTリクエストをサーバーに送信するプログラムがあります。
cURLを使用してリクエストを送信しています。
私のプログラムはWindowsとLinuxで実行されます（現時点ではUbuntu 9.10）。

サーバーがリクエストを受信すると、サーバーはそれを処理し、エラーコード（エラーがない場合は0000）とエラーの説明（存在する場合）を返します。
サーバーのWebサーバーはMicrosoftIISです。

Windowsでプログラムを実行すると、うまく機能します。
しかし、Linuxでプログラムを実行すると、30秒間ハングアップし（cURLのタイムアウト）、「5バイトを受信して​​30000ミリ秒後に操作がタイムアウトしました」というエラーが返されます。
サーバー側の問題を知っているように、サーバーは応答のサイズを送信せず、ソケット接続を閉じません。

cURLログ（Linuxから）：

Windowsのログはほとんど同じですが、タイムアウトはありません。「0000」を受信した直後にソケットを閉じます。

「0000」を取得すると、受信したデータを分析して接続を閉じることができますが、これは「ダーティハック」です。

何か案は？

C++ アプリケーションで Curl (libcurl) を使用していますが、Cookie を送信できません (と思います)。

Fiddler、TamperData、および LiveHTTP ヘッダーがインストールされていますが、これらはブラウザー トラフィックを表示する場合にのみ役立ち、マシン上の一般的なネットワーク トラフィックを監視することはできない (ように思われる) ため、マシンを実行してもヘッダー情報が表示されません。送信されています。しかし、ブラウザーでページを表示すると、正常にログオンすると、Cookie 情報が送信されていることがわかります。

アプリを実行しているときにページに正常にログオンし、その後別のページをフェッチしようとすると、(ページ) データはログオンしていないことを示しています。つまり、「状態」が何らかの形で失われています。

私の C++ コードは問題ないように見えるので、何が問題なのかわかりません。これが、次のことを行う必要がある理由です。

1. まず、自分のマシンのネットワーク トラフィック (ブラウザ トラフィックだけでなく) を表示できるようにする - どの (無料) ツール?

2. Curl を間違って使用していると仮定すると、コードのどこが悪いのでしょうか? (Cookie は正常に取得および保存されていますが、何らかの理由でリクエストと共に送信されていないようです。

これは、HTTP リクエストの Cookie 側を処理するクラスのセクションです。

上記のコードに何か問題がありますか？

この curl 関数の結果を変数に格納したいのですが、どうすればよいですか?

ありがとう、私はこのようにそれを解決しました：

これは私の時間を何時間も費やしました。

私が実行するコンソールで：require 'curb'

エラーが発生します：

gem をアンインストールして、いくつかのバージョンを ARCHFLAGS="-arch i386" で再インストールしようとしましたが、インストール時にエラーや警告は表示されません。

Ruby 1.8を搭載したMac ox 10.6で作業しています

/usr/lib フォルダーに libcurl.4.dylib、libcurl.3.dylib、libcurl.2.dlib および libcurl.dylib があることに気付きました...

最新の 7.20 curl パッケージをインストールしました。

ソースからもインストールしようとしましたが、このエラーが発生しました

提案？

HTTPリクエストから返されたデータを変数に保存しようとしています。

以下のコードは、リクエストの応答を自動的に出力しますが、文字または文字列への応答を保存するために必要です。

大きなURLリストがあります。これを並行してダウンロードし、各応答で返されるヘッダーの1つを確認する必要があります。

並列化にはCurlMultiを使用できます。私は/dev/null本文には興味がなく、ヘッダーだけに興味があるので、fbとして使用できます。

しかし、どうすれば各ヘッダーを確認できますか？

ヘッダーを受け取るには、HEADERFUNCTIONコールバックを設定する必要があります。わかりました。

しかし、このコールバック関数では、ヘッダー付きのバッファーのみを取得します。あるリクエストを別のリクエストと区別するにはどうすればよいですか？

URLと同じくらい多くのコールバック関数を作成するというアイデアは好きではありません。いくつかのクラスとそのクラスのインスタンスを作成する必要がありますか？また、あまり賢くありません。