0

Nokogiri を使用して、いくつかの Web サイトのスクリーン スクレイピングを行っています。私の Web サイトは米国のサーバーでホストされているため、Web サイトを取得すると、Web サイトはユーザーが米国のユーザーであるかのように応答します。サーバーは米国にありますが、オーストラリアのユーザーであるかのように Web サイトが応答する必要があります。ローカルで実行すると、ローカルではオーストラリア人であるかのように応答するため、正常に動作します。

のこぎりを使って外国人のようにサイトを読むにはどうすればよいですか？

4

2 に答える 2

2

オーストラリアのプロキシ経由でリクエストを実行する必要があります。

これは Nokogiri とは何の関係もありません。どのようにページをスクレイピングしようとしても適用されます。HTTP は双方向プロトコルである TCP を介して移動するため、その IP アドレスをスプーフィングすることはできません。TCP パケットの IP アドレスをスプーフィングしようとすると、応答が返ってきません。

于 2011-03-24T12:21:53.400 に答える
1

特定の国の出口ノードを常に使用するようにTorを設定できます。ただし、Torネットワークに深刻な負担がかかる場合（つまり、ページを継続的にフェッチする場合）は、この方法を使用しないでください。この場合、（オーストラリアベースの）非模倣サービス（または単にプロキシ）の購入を検討してください。

于 2011-04-05T23:50:24.817 に答える