-1

でスクレーパーを構築してnodeJSいますが、理解できない問題に遭遇しました。

特定の Web サイトは場所固有のコンテンツを使用しており、これをトリガー/操作する方法を見つけたいと考えています。

すぐに、これはおそらく複雑な問題であることはわかっています。一部のサイトでは、ユーザーの場所を特定するために異なる方法を使用する場合があります。これを達成する一般的な方法はありますか？私は現在Nodeのrequestモジュールを使用しており、ヘッダーを次のように設定しています:

    'headers': {
         'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'
    }

ヘッダーを操作して場所を Web サイトに偽装する方法はありますか?

4

1 に答える 1

1

企業が提供するコンテンツの種類を決定するために使用する方法は複数あります。

BBC などの大手メディア組織は、IP 範囲を民間企業が管理する地理的な場所にマッピングするデータベースを使用しています。彼らのアクセス保護を破る唯一の方法は、あなたが訪問しているように見せかけたい国の仮想サーバーをプロキシとして使用することです.

他の企業 (多くのヨーロッパの企業) は、コンテンツを提供する言語を知りたいだけかもしれません。このために、彼らは Web リクエストのいくつかのヘッダーを調べるかもしれません。

于 2013-07-23T09:48:35.913 に答える