私は NiFi を評価しており、基本的なワークフローを作成しました。ローカル ディレクトリをリッスンし、いくつかの変換を適用してから、フローを kafka に入れます。
エラートレース
09:46:35 UTC ERROR1b6ae25f-e517-47d9-90a2-103109a47b90 localhost:10084
PutKafka[id=1b6ae25f-e517-47d9-90a2-103109a47b90] Failed to process session due to org.apache.nifi.processor.exception.FlowFileHandlingException:
StandardFlowFileRecord[uuid=746f505e-54ec-4b9f-a970-1f88cda08a2e,claim=StandardContentClaim [resourceClaim=StandardResourceClaim[id=1455788674669-223, container=default, section=223], offset=0, length=131876],offset=0,name=1_edr_http_EAST.COMPLETED.9,size=131876] is not known in this session (StandardProcessSession[id=134420]):
org.apache.nifi.processor.exception.FlowFileHandlingException: StandardFlowFileRecord[uuid=746f505e-54ec-4b9f-a970-1f88cda08a2e,claim=StandardContentClaim [resourceClaim=StandardResourceClaim[id=1455788674669-223, container=default, section=223], offset=0, length=131876],offset=0,name=1_edr_http_EAST.COMPLETED.9,size=131876] is not known in this session (StandardProcessSession[id=134420])
BasicFieldSplitProcessor は私のカスタム プロセッサで、ReplaceText の修正版です。
「フィールド分割キュー」の設定
- FlowFile 有効期限情報:120 秒
- バック プレッシャ オブジェクトのしきい値 Info:500000
- バック プレッシャ データ サイズのしきい値情報: 200 MB