複数のファイル (たとえば 300 個の csv ファイル) を処理する必要があるという要件があります。
データにいくつかの変換ロジックを適用する必要があるため、個々のファイルを読み取る --> 処理する --> 書き込む必要があります。
入力ファイルごとに、対応する変換済みファイルが存在します。つまり、入力ファイルが 300 の場合、出力ファイルは 300 になります。最後に、300 個の出力ファイルすべてを 1 つのファイルにマージする必要があります。このファイルは圧縮されてから、FTP/SFTP 経由でリモートの場所に転送されます。
たとえば、上記の処理を適用する必要がある新しい 300 個のファイルのセットを 1 時間ごとに処理する必要があるため、上記のジョブを 1 時間ごとにスケジュールします。
- Spring Batch を使用して上記のシナリオでマルチファイル処理を処理するにはどうすればよいですか?
- 上記の処理を複数のスレッドで実行するにはどうすればよいですか?
提案してください。前もって感謝します。