問題タブ [curl-multi]

PHP を使用して Web ページを開き、その Cookie を受け取るにはどうすればよいですか?

動機: RSS 非対応の HighLearn Web サイト (リモート学習 Web サイト) から RSS フィードを作成するために、feed43を使用しようとしています。解析する必要があるフィード コンテンツを含む Web ページを見つけましたが、最初にログインする必要があります。幸いなことに、ログインは GET リクエストを介して実行できるため、たとえば" http://highlearn.website/login_page.asp?userID=foo&password=bar " を fopen() するだけで簡単にログインできます。しかし、ログイン時に生成された Cookie を取得し、その Cookie を実際のクライアントに渡し (おそらく setcookie() を使用して)、リダイレクトする必要があります。

私は twittertrend.net の開発者です。curl_multi を実行する以外に、URL のヘッダーを取得するより高速な方法があるかどうか疑問に思っていました。私は 1 分間に 250 以上の URL を処理していますが、PHP の観点からこれを行うための非常に高速な方法が必要です。bash スクリプトを使用して、ヘッダーまたは C アプリケーションを出力できますが、高速化できるものはありますか? 私は主に PHP でしかプログラミングしたことがありませんが、学ぶことはできます。現在、CURL_MULTI (一度に 6 つの URL が提供される) は問題なく機能しますが、より高速なものを使用したいと思いますか? 最終的には、MySQL の保存と処理には PHP を使い続けたいと考えています。

ありがとう、ジェームズ・ハーティグ

FreeBSD サーバー上で実行されるデーモンを作成します。このデーモンは、少量のデータを URI のリストと毎分交換します。

投稿を使用して、curl_multi 関数を使用して、それらをすべて一度に、またはグループで、毎分実行することを考えています。しかし、私は他のアイデアにもオープンです。

後でベンチマークを行う必要がありますが、今のところ、curl を使用して多くの小さな投稿を作成するのがどれほどリソースを消費するか知っている人はいますか?

これを行うためのより集中的な方法はありますか？おそらくSOAP？最初は、毎分数個しかありませんが、急速に成長する可能性があります。

ありがとう！

http経由で使用できるシンプルなAPIを備えたサイトがあります。APIを利用して、一度に約1000〜1500回のデータを送信したいと思います。APIは次のとおりです：http：//api.jum.name/

送信するためのURLを作成しましたが、これらの1000〜1500APIGETリクエストを作成するための最良の方法は何でしょうか。これが私が考えていたPHPCURLの実装です：

送信するたびにCURL接続を閉じますか？これらの1000〜1500の提出をより速くするために、上記をより良い方法で書き直すことはできますか？

皆さんありがとう

たとえば、curlを使用して複数のこと（Cookieが必要）を実行したい場合は、次のようにします。

1. （自分の）ブログにログインする
2. その後、ブログ投稿を自動的に送信します

curlを閉じる前に1つのcurlインスタンスでこれを行うのですか、それとも最初のセッションを閉じてから2番目のタスクのために2番目のセッションを開始するのですか？（ばかげた質問で申し訳ありませんが、私はそれを完全に理解することはできません。一般的に、カールについて私が見つけたネット上のすべての例は、1つのことだけをしています...これは私がそれを理解するのに役立ちません。）

外部サーバーからデータを取得するスクリプトを作成しました。サーバーがダウンした場合、サーバーがデータを待機することは望ましくありません。これは、大量のデータを処理し、サーバーが停止することを望まないためです。これに対処するために、curl 呼び出しに数百ミリ秒以上かかる場合は、それらをタイムアウトにしようとしています。

CURLOPT_TIMEOUT_MS と CURLOPT_CONNECTTIMEOUT_MS は私のバージョンの php と libcurl で利用できるはずだというドキュメントを見つけましたが、タイムアウトを 1ms に設定してもタイムアウトしていないようです。

私たちが間違っていることや、これを行う別の方法を知っている人はいますか?

curl_multi_*に問題があります。たとえば、1000 個の URL を受け取り、それらすべての URL を一度に 5 つずつ処理するクラス/関数を作成したいので、URL のダウンロードが完了すると、現在利用可能なスロットが割り当てられます。まだ処理されていない新しい URL。

curl_multi のいくつかの 実装を見てきましたが、それらのどれも私がやりたいことを行うことを許可していません。解決策はcurl_multi_selectの使用法のどこかにあると思いますが、ドキュメントはあまり明確ではなく、ユーザー ノートはあまり役に立ちません。

そのような機能を実装する方法の例を教えてください。

私のスクリプトは curl を使用して、smugsmug api経由でsmugsmugサイトに画像をアップロードします。フォルダーをループして、そこにあるすべての画像をアップロードします。しかし、3 ～ 4 回のアップロードの後、curl_exec が失敗し、すべてが停止し、他の画像のアップロードが妨げられました。

更新：スクリプトにログインを追加しました。失敗すると、ログはfwrite($fh, "begin curl\n");の後に停止します。

私も

I'm using curl_multi functions to request multiple URLs and process them as they complete. As one connection completes all I really have is the cURL handle (and associated data) from curl_multi_info_read().

The URLs come from a job queue, and once processed I need to remove the job from the queue. I don't want to rely on the URL to identify the job (there shouldn't be duplicate URLs, but what if there is).

The solution I've worked up so far is to use the cURL handle as an array key pointing to the jobid. Form what I can tell, when treated as a string the handle is something like:

That seams reasonably unique to me. The basic code is:

Is the cURL handle safe to use in this way?

Or is there a better way to map the cURL handles to the job that created them?