私はこれに関する情報を見つけようとしてきましたが、Spring Integration フレームワークが未熟なため、あまり運がありませんでした。
これが私の希望するワークフローです:
新しいファイルは「Incoming」ディレクトリに配置されます
ファイルは file:inbound-channel-adapter を使用して取得されます
ファイルの内容は、一度に N 行ずつ「ステージ 1」チャネルにストリーミングされ、そこで行が中間 (共有) 表現に解析されます。
この解析された行は、複数の「ステージ 2」チャネルにルーティングされます。
各「ステージ 2」チャネルは、利用可能な N 行に対して独自の処理を行い、それらを最終的な表現に変換します。このチャネルには、あるチャネルの処理が他のチャネルよりも大幅に遅くなった場合に、ステージ 2 チャネルが過負荷にならないようにするキューが必要です。
N 行の最終表現がファイルに書き込まれます。手順 4 のルーティング先と同じ数の出力ファイルが存在します。
**上記の「N」は、[1、メモリに適切に収まるものは何でも]から一度に読み取る妥当な行数を表しますが、完全なファイルの行数よりも常に少ないことが保証されています。*
Spring Integration でストリーミング (ステップ 3、4、5)を達成するにはどうすればよいですか? ファイルをストリーミングせずに実行するのはかなり簡単ですが、ファイルが大きすぎて、ファイル全体をメモリに読み込むことができません。
補足として、Spring Integration を使用しないこのワークフローの実用的な実装がありますが、プロジェクトの他の場所で Spring Integration を使用しているため、ここで試して、それがどのように機能し、結果がどのようになるかを確認したいと思います。コードの長さと明瞭さを比較します。