0

Hive アクションと Java アクションの両方を含むワークフローに取り組んでいます。Java アクションの開始時刻とジョブの送信時刻の間に数分の遅延があることに、非常によく気づきました。Hive ジョブではそれが見られません。つまり、Hive ジョブは開始直後に送信されるようです。Java ジョブはあまり機能しないため、送信後数秒で正常に終了しますが、開始から送信までの時間は非常に長いようです (4 ~ 5 分)。公正なスケジューラを使用しており、十分なマッパー/リデューサー スロットが利用可能です。ただし、リソースの問題であっても、Hive ジョブは開始と送信の間に遅延を示すはずですが、そうではありません! Java ジョブは非常に単純なジョブであり、ファイルなどを処理し、基本的にWebサービスを呼び出すために使用され、それらは単一のマッパーのみを生成し、リデューサーは生成しません.Hiveジョブは何百ものマッパー/リデューサータスクを作成しますが、それでも開始と送信の間に遅延はありません. oozie が Java ジョブをすぐに送信しない理由を突き止めることはできません。何か案は?

4

0 に答える 0