私は1つの質問をしました、それはその奇妙かもしれませんが、それを知りたいです、
www.facebook.com私はscrapyを介してURlでFacebookにアクセスしようとしました。start_urlで指定しました。実行した後、次のように応答しhttp://m.facebook.com/?refsrc=http%3A%2F%2Fwww.facebook.com%2F&_rdrました。ブラウザでこのURLを開くと、これはFacebookのモバイルビューであると予想できます。では、なぜ応答がモバイルビューであり、デスクトップで開いたときに表示できる一般的なビューではないのか。
前もって感謝します...................
そのためのグローバル設定があります：USER_AGENT
アップデート ：
結局のところ、モバイル版を扱うことは利点かもしれません。他のサイトは、JavaScriptを実行できない場合、ブラウザを他のページにリダイレクトします。
<noscript> <meta http-equiv="refresh" content="0; URL=/homedepot?_fb_noscript=1" /> </noscript>
jsなしのバージョンまたはモバイルバージョンのサイトを扱うことは、ページのサイズが小さくなり、ページ上の追加情報が少なくなることを意味します。そのため、htmlは時間の経過とともにあまり変化せず、xpathクエリは引き続き機能します。
その場合は、FirefoxでJSを無効にするか、別のUser-Agentを設定して、scrapyが取得するのと同じページを取得します。スクレイピングをテストするためにFirefoxを使用する方法に関するその他のヒントは次のとおりです。スクレイピングにFirefoxを使用する