Web アプリケーションから生成されたデータを Apache Avro 形式で保存しています。データはエンコードされて Apache Kinesis Firehose に送信されます。この Firehose はデータをバッファリングし、約 300 秒ごとに Amazon S3 に書き込みます。私は複数の Web サーバーを持っているため、Avro ファイルの複数のブロブが Kinesis に送信され、Kinesis はそれらを連結して定期的に S3 に書き込みます。
S3 からファイルを取得すると、実際には複数のファイルが 1 つにまとめられているため、通常の Avro ツールを使用してデコードすることはできません。区切り文字を追加できると思いますが、ログに記録されているデータにも同じ区切り文字がある場合、危険に思えます。
これに対処する最善の方法は何ですか？同じファイルに連結された複数の Avro ファイルをサポートする標準は見つかりませんでした。