4

NiFiに流れがあります：

Download file -> UnpackContent -> PutHDFS

すべてのフローファイルを HDFS に配置したら、シェル スクリプトを実行する必要があります。

すべてのフロー ファイルが処理されたことを確認するにはどうすればよいですか?

4

4 に答える 4

2

@АнтонБукреев

fragment.index および fragment.count のフローファイル属性を調べることができるはずです。

ここに画像の説明を入力

この値は、展開された各フローファイルが展開されたシリーズのどの部分であるかを示すために使用されます。これにより、HDFS での処理が完了したことがわかります。ExecuteScript を使用する前に、カウントに基づいて MergeContent または Wait/Notify プロセスを実行する必要があります。HDFS のパーツの場所に関するメタデータを返す必要がある場合は、ExecuteScript でこれらにアクセスすることもできます。フローの最終ステップで正当な理由で結果を解凍する必要がある可能性が高いため、後者をお勧めします。

UnpackContent Demo テンプレートを作成しました。これは私の GitHub にあります。

https://github.com/steven-dfheinz/NiFi-Templates/blob/master/UnpackContent_Demo.xml

于 2020-06-20T22:27:21.283 に答える