1

私の Scrapy パーサーは、MongoDB にアイテムを書き込むためのドライバーとして PyMongo を使用します。リクエストを生成するために、パーサーは DB からすべてのレコードを取得し、次の方法で生成します。

...

for link in db.links.find():
    yield Request(...)

...

問題は、800+k レコードから約 6 ～ 8k しか通過しないことです。すべての 800+k レコードを反復するにはどうすればよいですか?

4

0 に答える 0