3

HDFS Sink Connector で Kafka-Connect を使用してデータをストリーミングしようとしています。スタンドアロン モードと分散モードの両方が正常に動作していますが、HDFS への書き込みは 1 回のみ (フラッシュ サイズに基づく) であり、後でストリーミングすることはありません。何か足りない場合は助けてください。

コンフルエント 2.0.0 & カフカ 0.9.0

4

1 に答える 1

2

私はずっと前にこの問題に直面しました。以下のパラメーターが欠落していることを確認してください

Connect-hdfs-sink プロパティ

"logs.dir":"/hdfs_directory/data/log"

"request.timeout.ms":"310000"

"offset.flush.interval.ms":"5000"

"heartbeat.interval.ms":"60000"

"session.timeout.ms":"300000

"max.poll.records":"100"

于 2016-08-22T14:02:12.927 に答える