Centos 7 で Apache NiFi 0.4.1 と Java 7 を使用しており、受信データに基づいてフロー ファイルを作成しようとしています。大量のデータを生成しているため、「OutOfMemoryError: Java heap space」例外が発生しています。
これは、私が知る限り、フロー ファイルへの書き込み時に NiFi によって提供される出力ストリームが ByteArrayOutputStream であり、データがメモリに格納されるためです。なぜこれが起こるのか理解できますが、GetFile/PutFile を使用してはるかに大きなファイルを処理できます (10Gb ファイルをロードし、その属性をログに記録し、別の場所に書き込んでみましたが、うまくいきました)。私がここに欠けているものはありますか？もっと大きなフローファイルを書く方法はありますか? または、NiFi 0.5.0 は私を助けるために何かを変更しますか?
注: 使用可能な Java ヒープ領域の量を増やしても問題が解決するとは思わない