hadoop - Oozie は、I/O に関してパフォーマンスの最適化を提供しますか?

Question

oozie は Hadoop プラットフォーム用のワークフロー エンジンですが、MapReduce ジョブの DAG 依存関係の実行のパフォーマンスは向上しますか?

つまり、1 つの MapReduce ジョブの出力が DAG 内の次の MapReduce ジョブへの入力として与えられるため、oozie は中間結果をメモリに格納して I/O を節約するメカニズムを提供します。

それとも、依存する一連の MapReduce を調整するのは、単なるワークフロー マネージャーですか?

内部で oozie がどのように機能するか知りたいですか?

Answer 1

それは単なるワークフローマネージャーです。たとえば、M/R ジョブを実行しても MapReduce の動作は変わりません。

あなたが説明していることは、Apache Sparkの機能に非常に似ています。Oozie が Spark と直接統合されているかどうかはまだわかりませんが、それが難しいことや、そう遠くないことである可能性はありません。