Google でローカル検索を行った後、ユーザーが地図の下にある [その他...] リンクをクリックすると、次のようなページが表示されます。
URL の場合:
https://www.google.com/ncr#q=chiropractors%2BNew+York,+NY&rflfq=1&rlha=0&tbm=lcl
をコピーしてブラウザに貼り付けると、予想どおり、同じページに到達します。WebDriverでブラウザを開いた場合も同様に、URL に直接アクセスすると WebDriver が同じページに移動します。
ただし、同じページをurllib2でリクエストしようとすると、Google はそのホームページ (google.com) を提供します。これは、特に、lxmlの抽出機能を使用できないことを意味します。
ここではurllib2が原因ではありませんが (おそらく Google はすべてのヘッドレス リクエストで同じことを行います)、Google に目的のページを提供させる方法はありますか? ライブラリを使用した簡単なテストではrequests、同じ問題が示されています。