「 http://nutritiondata.self.com/facts/snacks/1/1 」に似たページを見ようとすると、なぜか読みたいスパンまでたどり着けるのに、スクレイピー空のスパンを返します。
現在、私のxpathコードは次のとおりです。
hxs = HtmlXPathSelector(response)
calorieSpan = hxs.select("//span[@id='KJ_NUTRIENT_1']/text()").extract()
これは繰り返し空のリストを返します。"/text()" 呼び出しを削除すると、スパンが次のように返され<span id="KJ_NUTRIENT_1></span>ます。ページに移動すると、このスパンは存在しますが、いっぱいです。スクレイピーに空白として表示される理由についてのアイデアはありますか? ページの読み込み時に JavaScript によって値が読み込まれる可能性はありますか? もしそうなら、どうやってチェックしますか？その場合、簡単に casperjs に切り替えることができますが、はるかに遅いため、そうする必要はありません。
考え？