2

AWS の S3 バケットにすべてのエントリを書き込む Flume コンソリデータがあります。

問題はディレクトリ パスにあります。

イベントは /flume/events/%y-%m-%d/%H%M に書き込まれるはずですが、//flume/events/%y-%m-%d/%H% にありますM.

Flume は先頭に「/」をもう 1 つ追加しているようです。

この問題に関するアイデアはありますか？それは私のパス構成に問題がありますか?

master.sources = source1
master.sinks = sink1
master.channels = channel1

master.sources.source1.type = netcat
# master.sources.source1.type = avro
master.sources.source1.bind = 0.0.0.0
master.sources.source1.port = 4555

master.sources.source1.interceptors = inter1
master.sources.source1.interceptors.inter1.type = timestamp

master.sinks.sink1.type = hdfs
master.sinks.sink1.hdfs.path = s3://KEY:SECRET@BUCKET/flume/events/%y-%m-%d/%H%M
master.sinks.sink1.hdfs.filePrefix = event
master.sinks.sink1.hdfs.round = true
master.sinks.sink1.hdfs.roundValue = 5
master.sinks.sink1.hdfs.roundUnit = minute

master.channels.channel1.type = memory
master.channels.channel1.capacity = 1000
master.channels.channel1.transactionCapactiy = 100

master.sources.source1.channels = channel1
master.sinks.sink1.channel = channel1
4

1 に答える 1

0

Flume NG HDFS シンクは、S3 サポート用に特別なものを実装していません。Hadoop には S3 のサポートが組み込まれていますが、積極的に取り組んでいる人を私は知りません。私が聞いたところによると、それはやや時代遅れであり、故障時の耐久性に問題がある可能性があります.

とはいえ、「十分」だから使っている人は知っています。

「//xyz」(複数の隣接するスラッシュを含む) は S3 で有効なパス名だとおっしゃっていますか? おそらくご存じのとおり、ほとんどの Unix では隣接するスラッシュが折りたたまれます。

于 2012-09-25T20:35:32.993 に答える