1

Chrome の XPATHHelper と Firefox の XPather で次の XPATH を試してみましたが、常にすべてのスニペット (つまり、検索結果の説明) が Google 検索結果ページに表示されますが、Scrapy シェルでは機能しません。

//span[@class='st']

問題が発生した場合は、次のようにスクレイピー シェルを呼び出します。

scrapy  shell "http://www.google.com/search?q=myQuery"

と私は言いhxs.select("//span[@class='st']")ます。これは常に空のリストを返します。なぜこれが起こっているのかについての手がかりはありますか？

4

3 に答える 3

1

Scrapyは、Javascriptの実行が必要なサイトを「解析」することはできません。さまざまな開発者コンソールに表示されるのは、すべてのJavascriptが適用された、すでに解釈および実行されたサイトです。

GoogleはJavascriptを使用して結果を表示するため、Scrapyだけではこれを処理できません。

于 2012-06-08T06:55:26.390 に答える
0

Javascript を無効にすると (たとえば Applebees.com のように) サイトが機能しない場合があるため、Selenium などの実際のブラウザーを使用する必要があります。

于 2013-01-07T17:42:59.320 に答える