問題タブ [typhoeus]

typhoeusを使用してリクエストがヒットする前にクエリ パラメータを変更したい。正しいアプローチは何ですか？Ruby には Java のようなインターセプターがありますか? Rails のような before_filter や Ruby のメタプログラミングのようなものを使用する必要がありますか? リクエストをフックする Typhoeus::Request::Before モジュールがあることを確認しました。どうすれば実装できますか？

サーバー プロジェクトとクライアント プロジェクトと呼ぶ 2 つのプロジェクトがあります。

サーバー側では、Web サービスを使用しています。この Web サービスに特定の要求を送信すると、非常に長い JSON 応答が返されます。次に、いくつかのビジネス ロジックを実行して、応答を返すことができます。

Web ブラウザーから要求を送信すると、サーバー側が期待どおりの非常に大きな JSON オブジェクト (約 4000 行) を返すことを確認できます。

クライアント側からサーバー側にリクエストを送信すると、問題が発生します。完全な応答が表示されません。私が見ることができるのは、上の 10 行と下の 3 行だけです。真ん中がなくなった！

Rest-client、Typhoeus、Faraday の 3 つの Ruby gem を試しました。以下でそれらをどのように使用したかを見ることができます。

PS私は短い応答に問題はありません。しかし、大きな/大きな/長い応答になると、単に真ん中を切ります.

発疹チフス:

ファラデー:

残りのクライアント::

私は typhoeus gem を使用して API をヒットしています。これが私が得た応答です。

コードは次のようになります。

これから何か使えるものを得るにはどうすればよいですか？

私はこの方法を持っています：

zip_path をクリアして再作成し、書き込み用にファイルを開き、@feedURL からファイルをダウンロードし、ダウンロードしたファイルにチャンクで書き込みます。

実際のリクエストを嘲笑して、それを単体テストする方法を考えています。一部のブロックを介してチャンクを使用するため、少し複雑です。

私は以前にこのコードを持っていました：

これは簡単にテストできました (Typhoeus をモックし、スタブ リターンを提供することにより):

だから、同じ種類のものを単体テストする方法を考えています...つまり、パスが作成され、ファイルが保存されるなど、Typhoeusをモックしています。これはサード パーティ製のライブラリなので、正しく呼び出されていることだけをテストする必要はありません。

それはチャンクでありon_body、on_completeそれは私を混乱させています（テスト方法に関して）

ruby を使用して typhoeus を使用して完全な Web ページをダウンロードしていますが、ダウンロードするのは HTML のみであり、

response.body は HTML のみを返します。javascript を介してロードされているデータを含む完全な Web ページをダウンロードするための形式を追加できますか? または、データを取得する他の方法はありますか?

こんにちは、いくつかの Web サイトからニュースを取得する小さな Web クローラーを作成しています。タイフォウスを使用しています。

私のコードは次のようなものです：

問題は、一部の Web サイトのリクエストがキャッシュされた古いバージョンのページを返すことです。ヘッダーを設定して、「Cache-Control」=>「no-cache」を含めてみましたが、役に立ちませんでした! どんな助けでも大歓迎です。

open-uri を使用した場合も同じことが起こります。

Web サイトの応答ヘッダーの 1 つ: