テスト目的で、BBC をスクレイピングしようとしています。下にスクロールすると「天気ウィジェット」があります: http://www.bbc.co.uk/
検索する都市を入力すると、次のような呼び出しが行われます。
http://www.bbc.co.uk/wwhp?module=weather&action=search&location_term=amsterdam
利用可能な都市のリストをクリックすると、この呼び出しからデータが取得されます。
http://www.bbc.co.uk/wwhp?module=weather&action=set&location_id=2759794
Web サイト全体をスクレイピングして天気ウィジェットに入力すると、コンソールにエラーが表示されます。
OPTIONS http://www.bbc.co.uk/wwhp?module=weather&action=search&location_term=amsterdam Origin http://mydomain.com is not allowed by Access-Control-Allow-Origin. jquery-1.4.js:23
XMLHttpRequest cannot load http://www.bbc.co.uk/wwhp?module=weather&action=search&location_term=amsterdam. Origin http://mydomain.com is not allowed by Access-Control-Allow-Origin. myproxy.php:1
生成された URL (上記の最初の 2 つ) をスクレイピングすると、空白の画面が表示されます。CURL と単純な html dom でスクレイピングしています。上記の URL をスクレイピングできないのはなぜですか? 何を試すことができますか?