5

Flume 1.3.1 ng を使用しています。ファイルを spoolDir から HDFS Sink に転送しています。入力ファイルと同じ出力ファイル名が必要です。たとえば、入力ファイル名が sample.gz の場合、出力も sample.gz として必要です

Flume 1.3.1 ng でこの機能を実現する方法を教えてください。

4

2 に答える 2

3

私は次の設定を使用しています：

a1.sources.r1.basenameHeader = true
a1.sinks.k1.hdfs.filePrefix = %{basename}

これらの設定により、次の変換が行われます。

original_file.txt -> original_file.1457085474015.txt

そして悲しいことに、ファイル名からタイムスタンプを削除できないようです:C

于 2016-03-04T10:07:33.860 に答える
0

spooldir元のファイル名に関するヘッダーを追加するかどうかのパラメーターがあります。これは と呼ばれfileHeader、デフォルトでは false に設定されているため、true に設定します。

agentname.sources.mysource.type = spooldir
agentname.sources.mysource.spoolDir = /path/to/the/dir
agentname.soruces.mysource.fileHeader = true
于 2015-04-23T15:11:08.067 に答える