2

「yield」を使用してURLをロードするためにスクレイピースクリプトを使用しています。

MyUrl = "www.example.com"
request = Request(MyUrl, callback=self.mydetail)
yield request
def mydetail(self, response):
    item['Description'] = response.xpath(".//table[@class='list']//text()").extract()
    return item

URL の読み込みに 5 秒以上かかるようです。そのため、Scrapy が item['Description'] 内のテキスト全体をロードするのをしばらく待ちたいと思います。settings.py で「DOWNLOAD_DELAY」を試しましたが、使い物になりませんでした。

4

1 に答える 1

-1

javascript コードによって行われた Ajax リクエストの応答を取得するために、firebug または別のツールについて簡単に説明します。ページのアップロード後に表示されるこれらの ajax リクエストをキャッチするために、一連の応答を作成できます。いくつかの関連する質問があります: ajax コンテンツの 解析、最終ページの取得、 動的コンテンツの解析。

于 2015-08-25T09:42:09.367 に答える