データベースにクエリを実行し、おそらく 20,000 レコードを返す作業を行っている状況があります。各レコードには、サイズが 10,000 バイトから 1 メガバイトまでの範囲の構成ファイルがあります。そのため、データ量は非常に大きい可能性があります。この情報をユーザーに表示しようとしているわけではないので、問題ありません。基本的に、これらの構成内の特定の行をチェックするために、スケジュールされたタスクとしてこれを実行しています。
ただし、私が直面している問題は、レコード数が多くなると、System.OutOfMemoryException. 一度に必要なすべての行を見つける単一のクエリがありますが、明らかにこれはうまく機能していません。メモリを使い果たすことなくこれらの行を効率的にクエリする方法についての提案を探しています。必要なすべての行のリストを取得し、結果をループして一度に 1 行ずつ構成を取得することを検討しましたが、あまり効率的ではないようです。
どんな提案でも大歓迎です。