情報のブロックを含むバイナリファイルがあります（以降、これらをパケットと呼びます）。各パケットは、固定長のヘッダーと可変長の本文で構成されます。パケットヘッダー自体から本文の長さを決定する必要があります。私の仕事は、ファイルからこれらのパケットを読み取り、それらに対して何らかの操作を実行することです。現在、私はこのタスクを次のように実行しています。
ご想像のとおり、ファイルサイズが大きい場合、各パケットを順番に読み取って処理するのは時間のかかる作業です。どういうわけか、この操作、つまりパケット生成操作を並列化してブロッキングキューに入れ、キューから各パケットを並列に取得して操作を実行したいと思います。
誰かがこれらのパケットを並行して生成する方法を提案できますか？
ファイルが単一のドライブにあると想定しているため、ファイルを順番に読み取るスレッドは1つだけにする必要があります。ファイルの読み取りは IO 速度によって制限されるため、CPU で並列化しても意味がありません。実際、通常のハード ドライブはシーケンシャル IO 用に設計されているため、ノンシーケンシャルに読み取るとパフォーマンスが大幅に低下します。読み込むパケットごとに、そのオブジェクトをスレッドセーフなキューに入れる必要があります。
これで、パケットの処理の並列化を開始できます。複数のスレッドを作成し、それぞれがキューからパケットを読み取るようにします。各スレッドは処理を実行し、それを「終了」キューに入れる必要があります。
IO スレッドがファイルの読み取りを終了したら、フラグを設定して、キューが空になると作業中のスレッドが停止するようにする必要があります。
プラッター付きのディスク (つまり、SSD ではない) を使用している場合、複数のスレッドでファイルを読み取っても意味がありません。これは、ディスクをスラッシングするだけで、ディスク アームにミリ秒の遅延が発生するためです。SSD をお持ちの場合は別の話であり、読み取りを並列化できます。
代わりに、ファイルからデータを読み取り、パケットを作成する 1 つのスレッドを用意してから、次のことを行う必要があります。
次に、他の多くのスレッドで次のことを行うことができます。
これにより、パケットを 1 つの連続シーケンスでストライピングすることにより (プラッター ディスクから) 可能な限り高速にパケットを読み取ることができ、ポーリングなしで一度に複数のパケットを処理することが保証されます。
既知の高速な方法は java.nio.MappedByteBuffer を使用していると思います