同時に約 40 のランダムな Web ページを破棄する必要があります。これらのページは要求ごとに異なります。Python で rpcs を使用して URL を取得し、BeautifulSoup を使用してデータをスクレイピングしました。すべてのデータを破棄して画面に表示するには、約 25 秒かかります。
速度を上げるために、データをappengineデータストアに保存して、各データが1回だけスクレイピングされ、そこからすばやくアクセスできるようにしました。
しかし、問題は->データストアでデータのサイズが大きくなると、データストアからデータを取得するのに時間がかかりすぎます(スクレイピングよりも長くなります)。
memcache を使用するか、mysql に移行する必要がありますか? mysql は gae-datastore よりも高速ですか? または、できるだけ早くデータを取得するための他の良い方法はありますか?