ノードのみの (テスト) モードで Flume を使用しています。私のフルームは次の方法で開始されます。
Flume node -1 -c $FQDN':amqp("exchangeName=[エクスチェンジ名]", "bindings=[バインディング名]", "host=127.0.0.1", "port=5672", "userName=[ユーザー] ", "password=[pass]", "exchangeType=direct", "durableExchange=false", "queueName=[キュー名]", "durableQueue=true", "exclusiveQueue=false", "autoDeleteQueue=false"," useMessageTimestamp=true")|collectorSink("s3n://[Amazon キー]:[Amazon シークレット]@[S3 のパス]","server");' -s "$@" > "$log" 2>&1
Flume で .csv ファイルを渡すことに興味があります。残念ながら、flume は .csv ファイルを .json に変換し、いくつかのフィールドを追加します。
例:
元のメッセージ:
"a,b,c"
Flume はメッセージを次のように変換します。
{"body":"\""a,b,c\"","timestamp":1345380385605,"pri":"INFO","nanos":275832626718182,"host":[host name],"fields":{"rolltag":"20120819-124542793+0000.275789814494811.00000011"}}
メッセージをそのまま渡すようにflumeを設定するにはどうすればよいですか?