-2

現在、PHP cURL を使用して 1 分間に数百ページを同時にダウンロードするスクレイパー スクリプトを使用しています。

1 つのメイン サーバーといくつかのリモート サーバーがPHP cURLを使用してページをダウンロードし、 REMOTE MYSQL 接続を使用してデータを送り返すようにセットアップしました(データはメイン サーバーに保存されます)。

これらのサーバーのコストを最適化して削減しようとしています。では、水平方向または垂直方向にスケーリングする必要がありますか? より多くの RAM やプロセッサ パワーを探す必要がありますか?

どんな助けでも大歓迎です。

4

1 に答える 1

1

ネットワークパワーを追加する必要があります。RAM は実行中のプロセスをホストするためにのみ必要であり、CPU はネットワーク接続をトリガーするためにのみ必要です。

また、ウェブサイトはリクエストで圧倒されるのを好まないことにご注意ください。これは通常、攻撃と見なされ、ブロックされる可能性があります。ですから、安全にプレイし、ネット市民として善良になりましょう。できるだけ無理をしないでください。優れたスパイダーのコンセプトは、できるだけ多くの異なるホストに要求しますが、1 つのホストごとに 1 つまたは 2 つの要求のみを使用します。

于 2013-10-30T23:48:53.340 に答える