問題タブ [mrv2]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
169 参照

hadoop - YARN MRv2 JobClient 相当

MRv2 に相当する JobClient (Java、MRv1) が見つかりません。実行中のジョブの MR ジョブ ステータス、カウンターなどを読み取ろうとしています。リソースマネージャーから情報を取得する必要があると思います(ジョブが終了する前に履歴サーバーに情報がなく、ジョブの実行中にカウンターを読み取る必要があるため)。mapreduce api に欠けているクライアントはありますか?

0 投票する
1 に答える
1017 参照

hadoop - mapreduce.framework.name について Hadoop について理解する

私は Hadoop を学んでおり、フレームワークには Hadoop1 と Hadoop2 の 2 つのバージョンがあることを知りました。

私の理解が正しければ、Hadoop1 では、実行環境は 2 つのデーモンに基づいていますがTaskTrackerJobTrackerHadoop2 (別名ヤーン) では、実行環境は「新しいデーモン」に基づいてResourceManagerNodeManagerますApplicationMaster

これが正しくない場合は修正してください。

次の構成パラメーターを知りました。

mapreduce.framework.name
取りうる値: local, classic,yarn

それらが実際に何を意味するのかわかりません。たとえば、Hadoop 2 をインストールした場合、どうすれば古い実行環境 (、、) を持つことができますTaskTrackerJobTracker

これらの値の意味を教えてくれる人はいますか?