問題タブ [typhoeus]

発疹チフスはアクティブレコードで安全に使用できますか? レスク？ソースをいじってあちこちグーグルで調べましたが、頭も尻尾もわかりません。私が本当に知りたいのは、応答コールバックが一度に 1 つずつ実行されるのか、それとも並行して実行されるのかということです。コールバックがアトミックまたはシーケンシャルなどである場合、コールバックで何でも安全に実行できるためです。おもう。

実稼働環境（Red Hat Enterprise Linux Serverリリース5.4（Tikanga）およびcurl 7.15.5（x86_64-redhat-linux-gnu）libcurl / 7.15.5 OpenSSL / 0.9.8b zlib / 1.2.3 libidn / 0.6）では非常に注意が必要です。 .5）POSTリクエストが自動的にGETリクエストになること。以下は、nginxによって提供される相対ログです。

実際、ログインするためにPOSTリクエストを送信しますが、実際にはGETに変換されます。

私たちの開発環境（Ubuntu12.04およびcurl 7.22.0（x86_64-pc-linux-gnu）libcurl / 7.22.0 OpenSSL / 1.0.1 zlib / 1.2.3.4 libidn / 1.23 librtmp / 2.3）では、すべて問題ありません。 。

誰がそれを説明できますか？

入力したウェブサイトのURLのサイトマップが存在するかどうかを確認する必要があるアプリケーションをレールで開発していますか？たとえば、ユーザーがhttp://google.comと入力すると、「Sitemappresent」が返されます。通常、ウェブサイトのURLの末尾に/sitemap.xmlまたは/sitemapが付いているソリューションを確認しました。 typhoeus gemを使用してこれをチェックし、response.codeでURL（www.google.com/sitemap.xmlやwww.apple.com/sitemapなど）をチェックして、200または301で返される場合は、サイトマップが存在することを確認します。しかし、サイトマップがなくても301を返すサイトがあることを発見しました。メインページにリダイレクトします（例： http： //yournextleap.com/sitemap.xml）、したがって、私は決定的な結果を得ることができません。どんな助けも本当に素晴らしいでしょう。typhoeusを使用してサイトマップを確認するためのサンプルコードは次のとおりです。

私はeBayAPIからCategoryFeatures使用しようとしていTyphoeus::Requestます。私はUbuntuServer11.04でRubyバージョン1.9.3とRails3.2.3を使用しています。

私のコードは以下の通りです：

このエラーが発生しました：

誰かがそれを修正する方法を知っていますか？

私の現在のアプリケーションは、さまざまな Web サイトの API からあらゆる種類のデータを取得するために約 30 の並列 HTTP 要求を作成し、一部の Web サイトからいくつかのコンテンツを破棄します。アプリケーションをスピードアップするために、調査を行い、可能な限り Typhoeus の get リクエストを head リクエストに変更するための提案を得ました。また、熱心な読み込みの手法を実装し、N+1 問題を解決しました。しかし、それでもアプリケーションを高速化する必要があります。多くの。

どんな提案でも大歓迎です。

前もって感謝します。

基本的にこれを行うコードがいくつかあります。ここで、varurlsは文字列の配列です。これは蒸留版ですが、要点を示しているはずです。

問題は、1つ（または複数）のURLがメガバイト単位で応答する可能性があることです。この関数はほとんど同じURLのグループでループで実行されるため、これは望ましくありません。どういうわけかハード制限後にデータの受信を停止する方法はありますか？：max_response_sizeか何かのように？

hydra / typhoeusのrubydocsを見てきました：http： //rubydoc.info/github/dbalatero/typhoeus/master/Typhoeus/Hydra

http://rubydoc.info/github/dbalatero/typhoeus/master/Typhoeus/Request

http://rubydoc.info/gems/typhoeus/0.4.1/file/README.md

しかし、彼らは私に応答の体のサイズを制限する方法を教えていないようです。これは可能ですか？

しばらく前にMacportsを削除したので、今はHomebrewを使用しています。今、私はマルチカールに依存するtyphoeusrubygemを使おうとしています。

ルビースクリプトを実行しようとすると、次のエラーメッセージが表示されます。

明らかに、いくつかのファイルが欠落しています。

実行すると、次のよう$ otool -L /usr/local/bin/curlになります。

ここでの問題は、私のフォルダ/opt/local/が存在しないことです。

• 欠落しているリンクを修正するにはどうすればよいですか？
• 不足しているファイルはどこで入手できますか？（libidn.11.dylib、libintl.8.dylib、libssl.1.0.0.dylib、libcrypto.1.0.0.dylib、libz.1.dylib）？

追加情報：

• 私はruby1.9.3とMacOSX10.8を使用しています

サイトの外部 API へのすべての HTTP 呼び出しを処理するために Typhoeus を使用していますが、最近まで問題なく動作していました。私の Rails サイトは、しばらくすると応答しなくなりました。netstat を実行すると、CLOSE_WAIT 状態の接続が大量にあることに気付きました。それらは次のコードによって生成されます。

他の HTTP 呼び出しで Typhoeus を使用している方法と異なる唯一の点は、上記の URL がすべて HTTPS の URL であることです。それが重要かどうかはわかりませんが、現時点ではそれしか思い浮かびません。誰もこれを見たことがありますか？完了したら、接続を強制的に閉じるために Typheous に渡すことができるオプションはありますか?

私はhttp://typhoeus.github.com/articles/getting_started.html#make_parallel_requests を行っていましたが、Hydraを使用したtyphoeusが並列HTTPリクエストを可能にする方法を実際に理解できませんでした。EventMachine::Iterator と EvenMachine::HTTPRequest が同時リクエストを処理するのと似ていますか? ソースコードを確認する予定ですが、バックエンドで何が起こっているかを知っている人がいたら教えてください。Typhoeus をよりよく理解するのに大いに役立ちます。ありがとう！

並列リクエストを作成するために、Typhoeus と Hydra を使用しています。私の最終目標は、発疹チフスの反応を機械化オブジェクトに解析することです。

typhoeus 応答オブジェクトを解析できないため、agent.parse メソッドでエラーが発生しています

Typhoeus 応答を Net::HTTPResponse オブジェクトに変換できる方法はありますか? それとも、Mechanize と Typhoeus を一緒にクラブできる他の方法はありますか? そのため、typhoeus で並列リクエストを作成し、Mechanize ライブラリでデータをスクレイピングできます。