Kinesis Agent (Docker イメージを使用) を含む JSON ファイルを Kinesis Data Stream に送信しています。Kinesis Data Stream は Kinesis Firehose Delivery Stream のソースとして機能し、ファイルを S3 に書き込む必要がありますが、S3 には何も表示されません。 .
JSON データはデータ ストリームに流れ込み、モニタリングとエージェント ログに表示されます。
2019-04-16 19:00:14.036+0000 6ae9843658b1 (Agent.MetricsEmitter RUNNING) com.amazon.kinesis.streaming.agent.Agent [INFO] Agent: Progress: 18947 records parsed (490492 bytes), and 18500 records sent successfully to destinations. Uptime: 900020ms
JSON ファイルを (エージェントが監視している) 入力フォルダーに 2 秒間隔でコピーする小さなシェル スクリプトがあります。各ファイルは Kinesis エージェントによって取得されます。
2019-04-16 19:00:15.015+0000 6ae9843658b1 (FileTailer[kinesis:dev-kinesis-stream:/tmp/stream/*.json]) com.amazon.kinesis.streaming.agent.tailing.KinesisParser [INFO] KinesisParser[kinesis:dev-kinesis-stream:/tmp/stream/*.json]: Continuing to parse /tmp/stream/testfile00001.json.
ただし、Firehose Delivery ストリームまたは S3 バケットには何も届きません。
私のファイアホースでは、バッファ条件を「1 MB または 60 秒」に設定し、暗号化と圧縮を無効にしました。各ファイルには小さな配列 (ファイルサイズ ~1 KB) しか含まれていないため、これによりファイルが S3 に渡されるようになります。
私は困惑していて、他に何が理由なのかよくわかりません。
どんな助けでも大歓迎です！