apache-kafka - Kafka は、NiFi 内で大きなファイル (30 MB 以上) を取り込めません

Question

私は Apache NiFi を使用しています。Kafka に約 30 MB のテキスト ファイルを取得させようとすると、エラーが発生せずに、PutKafka プロセッサが GetFile プロセッサから送信されたデータの取得を拒否します。

PutKafka プロセッサの設定は次のとおりです。

ファイルを PutKafka プロセッサに渡そうとすると、次のようになります。

PutKafka プロセッサ内のいくつかの値を変更しようとしましたが、役に立ちませんでした。これと同じセットアップは、非常に小さなテキスト ファイルを送信するときに成功しましたが、パイプで区切られていませんでした。

ありがとう

Answer 1

ログを見て、関連するスタック トレースがあるかどうかを確認し、ここに貼り付けてください。私の疑いでは、最大バッファ サイズを超えており、Kafka 自体が失敗しているため、メッセージはトピックに到達しません。たとえば、「max.request.size」をオーバーライドしているように見えますが、「buffer.memory」はリクエスト サイズよりもはるかに小さくなっています。いずれにせよ、スタック トレースが役立ちます。