カスタム ログから AWS の s3 バケットにエントリを書き込む Flume コンソリデータがあります。
私が抱えている問題は、JSON形式で保存していないことです。私はflume-og（実際にはflume 0.9.4-cdh3u3）からアップグレードしたため、flume-ng（flume 1.2.0）を使用しています。Flume (og one) を使用していたとき、パラメータを設定せずにログを JSON 形式で移動するようにデフォルト設定していました。Flume-ng がログを解析して JSON 形式に設定することは可能ですか?
どんな助けでも大歓迎です。ありがとうございました
私のセットアップ構成は以下です
agent.sources = source1
agent.sinks = sink1
agent.channels = channel1
agent.sources.source1.type = netcat
agent.sources.source1.bind = localhost
agent.sources.source1.port = 4555
agent.sinks.sink1.type=hdfs
agent.sinks.sink1.hdfs.path = s3://KEY:SECRET@BUCKET/flume/apache/incoming
agent.sinks.sink1.hdfs.filePrefix = log-file-
agent.channels.channel1.type = memory
agent.channels.channel1.capacity = 1000
agent.channels.channel1.transactionCapactiy = 100
agent.sources.source1.channels = channel1
agent.sinks.sink1.channel = channel1