バッファーのようなキューからの大量の着信および発信データを処理するアプリケーションを c# で開発しています。バッファは、ディスク内のある種のファイルである必要があります。データは非常に頻繁にバッファに書き込まれます (10 ミリ秒ごとに 1 回のように話しています!)。書き込まれた各データは、バッファ内に 1 レコード/行を作成します。
同じプログラムがバッファを (行ごとに) 読み取り、バッファリングされたデータを処理します。1 行/レコードが処理された後、バッファリングされたデータは、システムの再起動時にバッファリングされたデータを再処理しないように、バッファ ファイルからその行/レコードをすぐに削除する必要があります。この読み取りと削除も非常に高速で行われます (10 ミリ秒ごとなど)。
つまり、読み取ったものを書き込み、読み取り、パージするシステムです。プログラムがバッファリングされたデータを処理しないことを決定した場合、このバッファのサイズが最大 5GB (GIGABYTE) になる可能性があるため、さらに困難になります。
**私の質問は次のとおりです。このバッファリング メカニズムを処理するには、どのような方法を使用すればよいですか? SQlite と単純なテキスト ファイルの使用を検討しましたが、大きなサイズの処理が効率的でないか、同時挿入、読み取り、削除の処理があまりうまくいかない可能性があります。
とにかく、どんなアドバイスでも本当に感謝します。ご回答ありがとうございます! **