c++ - C++のマルチスレッドアプリケーション

Question

私はC++でプログラムされたマルチスレッドアプリケーションに取り組んでいます。いくつかの一時ファイルを使用して、スレッド間でデータを渡します。1つのスレッドが、処理するデータをディレクトリ内のファイルに書き込みます。別のスレッドがディレクトリをスキャンして作業ファイルを探し、ファイルを読み取ってさらに処理してから、それらのファイルを削除します。これらのファイルを使用する必要があります。アプリが強制終了された場合、まだ処理されていないデータを保持する必要があるためです。

しかし、私は複数のファイルを使用するのが嫌いです。1つのファイルを使用したいだけです。1つのスレッドがファイルに継続的に書き込み、もう1つのスレッドがデータを読み取り、読み取られたデータを削除します。容器が上から満たされているように、下からデータを取得して削除することができます。これをC++で効率的に行う方法、最初に方法はありますか..？

score 3 · Accepted Answer

あなたの質問へのコメントで示唆されたように、SQLiteのようなデータベースを使用することは非常に良い解決策かもしれません。ただし、ファイルの使用を主張する場合は、もちろんこれは可能です。

私は一度それを自分で行いました-ファイルを使用してディスク上に永続的なキューを作成しました。

これを実現する方法に関するガイドラインは次のとおりです。

ファイルには、次の未処理のレコード（エントリ）と書き込み可能な次の場所を指すヘッダーが含まれている必要があります。
レコードの長さが可変の場合、各レコードには、レコード長を示すヘッダーが含まれている必要があります。
各レコードに、レコードが処理されたかどうかを示すフラグを追加することをお勧めします
ファイルロックを使用して、書き込み中のファイルの部分から誰も読み取らないようにすることができます
低レベルのIOを使用する-いかなる種類のバッファリングされたストリームも使用せず、直接書き込みセマンティクスを使用します

そして、これが読み取りと書き込みのスキームです（おそらくいくつかの小さな論理的なバグがありますが、そこからそれを取ることができるはずです）：

読者

ファイルヘッダーをロックして読み取り、ロックを解除して元に戻します
最後のレコード位置に移動します
レコードヘッダーとレコードを読み取ります
処理済みフラグをオンにして、レコードヘッダーを書き戻します。
ファイルの終わりにいない場合は、ヘッダーをロックし、次の未処理のレコードの新しい場所を書き込みます。それ以外の場合は、処理するレコードがこれ以上ないことを示すマーキングを書き込みます。
書き込む次のレコードが正しい場所を指していることを確認してください

また、リーダーにファイルをときどき圧縮してもらいたい場合もあります。