0

私はノードのみ(テスト)モードで水路を使用しています。flumeはRabbitMQからメッセージをプルし、AmazonS3バケットに配置します。

問題:

Flumeは実際にはRabbitMQからプルしますが、ファイルはS3バケットに表示されません。

技術的な詳細:

私は次の方法で水路を開始します:

flume node -1 -c $FQDN':amqp("exchangeName=[exchange name]", "bindings=[binding name]", "host=127.0.0.1", "port=5672", "userName=[user]", "password=[pass]", "exchangeType=direct", "durableExchange=false", "queueName=[queue name]", "durableQueue=true", "exclusiveQueue=false", "autoDeleteQueue=false", "useMessageTimestamp=true")|collectorSink("s3n://[Amazon key]:[Amazon secret]@[path at S3]","server");' -s "$@" > "$log" 2>&1

Flumeログ:

水路の再起動後、関連する交換とキューを介して何かを送信すると、水路ログに次の行が表示されます。

INFO com.cloudera.flume.handlers.hdfs.EscapedCustomDfsSink: Opening s3n://[key]:[secret]@[path at S3]

WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

WARN org.apache.hadoop.io.compress.snappy.LoadSnappy: Snappy native library not loaded
4

1 に答える 1

1

君は信じないだろう...

Flumeは、「/」を含むAmazonキーでは管理できません。使用したキーには1つ含まれていました。その後、Flumeはそれを認識し、Amazonを要求しませんでした。

解決策:「/」のないものが得られるまでAmazonキーを変更します

于 2012-08-19T13:48:08.327 に答える