hadoop - Flume を使用してローカル マシンから hdfs にデータをロードする方法

Question

Flume を初めて使用するので教えてください... Flume を使用してログ ファイルをローカル マシンからローカルの HDFS に保存する方法 クラスパスと Flume.conf ファイルの設定に問題があります

ありがとう、アジェイ

Answer 1

agent.sources = weblog
agent.channels = memoryChannel
agent.sinks = mycluster

## Sources #########################################################  
agent.sources.weblog.type = exec  
agent.sources.weblog.command = tail -F REPLACE-WITH-PATH2-your.log-FILE  
agent.sources.weblog.batchSize = 1  
agent.sources.weblog.channels =
REPLACE-WITH-
CHANNEL-NAME

## Channels ########################################################  
agent.channels.memoryChannel.type = memory  
agent.channels.memoryChannel.capacity = 100 agent.channels.memoryChannel.transactionCapacity = 100   

## Sinks ###########################################################   
agent.sinks.mycluster.type =REPLACE-WITH-CLUSTER-TYPE  
agent.sinks.mycluster.hdfs.path=/user/root/flumedata  
agent.sinks.mycluster.channel =REPLACE-WITH-CHANNEL-NAME

このファイルを logagent.conf として保存し、以下のコマンドで実行します

# flume-ng agent –n agent –f logagent.conf &

Answer 2

物事があなたのために働いている理由を知るために、より多くの情報が必要です.

簡単に言えば、データを読み取るためのソース (おそらくスプール ディレクトリ ソース)、チャネル (信頼できるストレージが必要ない場合はメモリ チャネル)、および HDFS シンクが必要です。

アップデート

OPは、「flumeクラスパスにconfファイルを含める必要があります」というエラーメッセージを受け取ったと報告します。

conf ファイルを引数として指定する必要があります。これは、--conf-fileパラメーターを使用して行います。たとえば、私が開発で使用するコマンド ラインは次のとおりです。 bin/flume-ng agent --conf-file /etc/flume-ng/conf/flume.conf --name castellan-indexer --conf /etc/flume-ng/conf

Flume を実行する前に、bin/flume-ngスクリプトが引数の内容をクラスパスに追加するため、エラー メッセージはそのように読み取られます。--conf-file