Streamsets ジョブをセットアップしました。正常に実行されますが、次のエラーがスローされます。
"UNKNOWN com.streamsets.pipeline.api.StageException: SPOOLDIR_35 - スプール ディレクトリ ランナーが失敗しました。理由 java.nio.file.NoSuchFileException: "
エラーは「ファイルが見つかりません」ですが、実際にはファイルは正常に処理され、それでもエラーが発生します。これは、処理中のすべてのファイルに対してではなく、中間的に発生します。
この仕事の背景については次のとおりです。
- パイプラインは、Linux エッジ ノードからファイルを読み取り、それらを HDFS に取り込みます。
- エラーは「読み取り」ステージで発生します
- 私たちはほぼ 2 年間同じパイプラインを実行してきましたが、先月ほどまでこの問題は見られませんでした。私たちのプロセスは最近何も変わっていません。断続的なエラーは、最新の StreamSets アップグレードと一致しているようです。
- このパイプラインでは 2 時間ごとに約 7 ファイルを処理しているため、1 日あたり約 84 ファイルであり、断続的なエラーは 1 日あたり 1 ～ 3 ファイルで発生するようです。すべてのファイルは引き続き HDFS で処理されます。
なぜこれが起こるのか分かりますか？