問題タブ [streamsets]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

177 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
376 参照

streamsets - ファイルを HDFS に取り込むストリームセット パイプラインが、誤解を招く「ファイルが見つかりません」例外をスローする

Streamsets ジョブをセットアップしました。正常に実行されますが、次のエラーがスローされます。

"UNKNOWN com.streamsets.pipeline.api.StageException: SPOOLDIR_35 - スプール ディレクトリ ランナーが失敗しました。理由 java.nio.file.NoSuchFileException: "

エラーは「ファイルが見つかりません」ですが、実際にはファイルは正常に処理され、それでもエラーが発生します。これは、処理中のすべてのファイルに対してではなく、中間的に発生します。

この仕事の背景については次のとおりです。

  • パイプラインは、Linux エッジ ノードからファイルを読み取り、それらを HDFS に取り込みます。
  • エラーは「読み取り」ステージで発生します
  • 私たちはほぼ 2 年間同じパイプラインを実行してきましたが、先月ほどまでこの問題は見られませんでした。私たちのプロセスは最近何も変わっていません。断続的なエラーは、最新の StreamSets アップグレードと一致しているようです。
  • このパイプラインでは 2 時間ごとに約 7 ファイルを処理しているため、1 日あたり約 84 ファイルであり、断続的なエラーは 1 日あたり 1 ～ 3 ファイルで発生するようです。すべてのファイルは引き続き HDFS で処理されます。

なぜこれが起こるのか分かりますか？


12345678910