2

私は米国にいて、アクセスの国に応じて異なるバージョンを提供するサイトの軽量クロールを行っています。

複数の国からクロールする最良の方法は何ですか? http 要求をルーティングできるプロキシ サービスはありますか? それとも、各国で軽量の VM をレンタルして、独自のプロキシ サーバーをインストールする必要がありますか?

4

2 に答える 2

0

www.hidemyass.com のような無料の Web プロキシを使用できますが、あまり期待しないでください。

無料の公開プロキシもいくつかあります。選択した検索エンジンを使用してそれらを見つけてください. （またはここを見てください http://www.hidemyass.com/proxy-list/）

または、TORを使用します(ただし、特定の出口ノードを選択できるかどうかはわかりません)。

VM のレンタルを検討している場合は、プロのプロキシ サービスに加入することもできます (つまり、より多くの帯域幅などを意味します)。

于 2012-10-09T19:58:02.770 に答える
0

主なプログラミング言語がphpの場合、サーバーで次のように実行できます。

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_PROXY, '195.175.37.72:80')
echo curl_exec($ch);

インターネットでは、多くの無料のプロキシ サーバーが Google を使用しています。お金を払ってプロキシへのアクセスを提供する人もいますが、彼らのサービスはより優れています. もちろん、他の国でマシンを購入することもできますが、私の方法は安くて簡単です。

于 2012-10-09T19:51:41.200 に答える