PythonとScrapyフレームワークを使用して Web クロール プロジェクトを開発しています。e コマース ショッピング サイトから約 10,000 のWeb ページをクロールします。プロジェクト全体は正常に動作していますが、コードをテストサーバーから実稼働サーバーに移動する前に、より優れたプロキシ IP プロバイダーサービスを選択して、スパイダーへの Web サイトへのIP ブロッキングやアクセス拒否について心配する必要がないようにします。
今まで、私はScrapyのミドルウェアを使用して、このようなさまざまなWebサイトで利用可能な無料のプロキシIPリストからIPを手動でローテーションしています
今、私は選択すべきオプションについて混乱しています
http://www.ninjasproxy.com/またはhttp://hidemyass.com/からプレミアム プロキシ リストを購入します。
TORを使用する
http://www.hotspotshield.com/のようなVPN サービスを使用する
3つ以上の任意のオプション