問題タブ [mrv2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - YARN MRv2 JobClient 相当
MRv2 に相当する JobClient (Java、MRv1) が見つかりません。実行中のジョブの MR ジョブ ステータス、カウンターなどを読み取ろうとしています。リソースマネージャーから情報を取得する必要があると思います(ジョブが終了する前に履歴サーバーに情報がなく、ジョブの実行中にカウンターを読み取る必要があるため)。mapreduce api に欠けているクライアントはありますか?
hadoop - mapreduce.framework.name について Hadoop について理解する
私は Hadoop を学んでおり、フレームワークには Hadoop1 と Hadoop2 の 2 つのバージョンがあることを知りました。
私の理解が正しければ、Hadoop1 では、実行環境は 2 つのデーモンに基づいていますがTaskTracker
、JobTracker
Hadoop2 (別名ヤーン) では、実行環境は「新しいデーモン」に基づいてResourceManager
いNodeManager
ますApplicationMaster
。
これが正しくない場合は修正してください。
次の構成パラメーターを知りました。
mapreduce.framework.name
取りうる値:local
,classic
,yarn
それらが実際に何を意味するのかわかりません。たとえば、Hadoop 2 をインストールした場合、どうすれば古い実行環境 (、、) を持つことができますTaskTracker
かJobTracker
。
これらの値の意味を教えてくれる人はいますか?