私は webspider を作成し、Heroku に割り当てています。メイン アクター (ルーターを割り当てるもの) が 512Mb に達した後、クラッシュします。
基本的に、解析されたすべての URL が FetchRouter に送信されます。キューのメッセージのリストが大きすぎてメモリに入れられません。
このリストを Disk に保存する方法はありますか?
fetcherRouter = context.actorOf(Props[URLFetcher].withRouter(RandomRouter(30)), name = "fetcherRouter")