0

同時に約 40 のランダムな Web ページを破棄する必要があります。これらのページは要求ごとに異なります。Python で rpcs を使用して URL を取得し、BeautifulSoup を使用してデータをスクレイピングしました。すべてのデータを破棄して画面に表示するには、約 25 秒かかります。

速度を上げるために、データをappengineデータストアに保存して、各データが1回だけスクレイピングされ、そこからすばやくアクセスできるようにしました。

しかし、問題は->データストアでデータのサイズが大きくなると、データストアからデータを取得するのに時間がかかりすぎます(スクレイピングよりも長くなります)。

memcache を使用するか、mysql に移行する必要がありますか? mysql は gae-datastore よりも高速ですか? または、できるだけ早くデータを取得するための他の良い方法はありますか?

4

1 に答える 1

0

あなたのアプリについて私が知っていることに基づいて、memcache を使用することは理にかなっています。高速になり、古いキャッシュ エントリの期限切れなどを自動的に処理します。

于 2013-04-21T12:21:03.483 に答える