hadoop - Spring Yarn @OnContainerStart - マッパーを呼び出す方法は?

Question

Spring Boot で Spring Yarn パッケージを使用しており、@OnContainerStart イベントからマッパーを開始する方法を見つけようとしています。マッパーに引数を渡すにはどうすればよいですか? 使用するマッパー/リデューサーを構成するにはどうすればよいですか? 私はこのガイドに従おうとしています

ありがとう

Answer 1

シンプルな Apache Hadoop MapReduce アプリケーションを作成しようとしていると思いますが、Spring YARN はそのためのものではありません。

Spring を使用して MapReduce ジョブを開発するには、 Spring for Apache Hadoop にあるリファレンス ドキュメントを確認してください。

Spring YARN は、MapReduce アプリケーションの上ではなく、Apache Hadoop YARN 上で実行できるアプリケーションを開発するためのフレームワークです。Hadoop YARN は Apache Hadoop MapReduce V2 の同義語として広範に使用されているため、これは誤解されがちです。新しい MapReduce V2 は、Hadoop の新しいリソース スケジューリング フレームワークである YARN 上で実行される単純な YARN アプリケーションです。

そうは言っても、YARN で MapReduce ジョブとはまったく異なるものを実行したい場合は、Spring YARN がその適切な候補になります。