2

私の現在のアプリケーションは、さまざまな Web サイトの API からあらゆる種類のデータを取得するために約 30 の並列 HTTP 要求を作成し、一部の Web サイトからいくつかのコンテンツを破棄します。アプリケーションをスピードアップするために、調査を行い、可能な限り Typhoeus の get リクエストを head リクエストに変更するための提案を得ました。また、熱心な読み込みの手法を実装し、N+1 問題を解決しました。しかし、それでもアプリケーションを高速化する必要があります。多くの。

どんな提案でも大歓迎です。

前もって感謝します。

4

1 に答える 1

0

以前にresqueを使用して、バックグラウンドで長時間実行されているプロセスを処理したことがあり、サイトのパフォーマンスが大幅に向上しました。メイン プロセスから 30 の並列リクエストを作成している場合、Ruby とスレッドにいくつかの問題があることを読んだことがありますが、処理がかなり遅くなる可能性があります。

スクレイピング コードをワーカー プロセスに入れてみてから、ページの更新を設定して更新を確認することができます。

于 2012-07-22T16:32:07.123 に答える