Flume イベントを Amaozn S3 に書き込もうとしています。S3 に書き込まれたイベントは圧縮形式です。私のFlume構成は以下のとおりです。データの損失に直面しています。以下に示す構成に基づいて、20000 のイベントを発行すると、1000 のイベントしか受信せず、他のすべてのデータが失われます。しかし、rollcount、rollSize、および rollInterval 構成を無効にすると、すべてのイベントが受信されますが、2000 の小さなファイルが作成されます。構成設定に問題はありますか? 他の構成を追加する必要がありますか?
injector.sinks.s3_3store.type = hdfs
injector.sinks.s3_3store.channel = disk_backed4
injector.sinks.s3_3store.hdfs.fileType = CompressedStream
injector.sinks.s3_3store.hdfs.codeC = gzip
injector.sinks.s3_3store.hdfs.serializer = TEXT
injector.sinks.s3_3store.hdfs.path = s3n://CID:SecretKey@bucketName/dth=%Y-%m-%d-%H
injector.sinks.s3_1store.hdfs.filePrefix = events-%{receiver}
# Roll when files reach 256M or after 10m, whichever comes first
injector.sinks.s3_3store.hdfs.rollCount = 0
injector.sinks.s3_3store.hdfs.idleTimeout = 600
injector.sinks.s3_3store.hdfs.rollSize = 268435456
#injector.sinks.s3_3store.hdfs.rollInterval = 3600
# Flush data to buckets every 1k events
injector.sinks.s3_3store.hdfs.batchSize = 10000