3

Hadoop MR1 と MR2 の両方を同じクラスターで (少なくとも理論的には) 一緒に実行することは可能ですか?

はいの場合、どうすればそれを行うことができますか?

4

5 に答える 5

4

理論的には、次のようにできます。

  • DataNode TaskTracker と NodeManager を 1 台のマシンで実行する
  • 他のマシンで NameNode SecondaryNameNode と ResourceManager を実行する
  • 異なるポートを持つすべてのプロセス

ただし、これを行うことはお勧めしません。cloudera ブログを参照してください。

「同じノード セットで MRv1 と YARN を同時に実行しようとしていないことを確認してください。これはサポートされていません。パフォーマンスが低下し、クラスターの展開が不安定になる可能性があります。」

于 2013-03-26T02:36:03.927 に答える
0

理論的には、そうです。

  1. tarball を、異なるユーザーが所有する 2 つの異なる場所に解凍します。

  2. 両方で、すべての mapred/yarn 関連のポートを相互に排他的なセットに変更します。

  3. いずれかの場所からのみデータノードを実行します。

  4. 両方の場所で mapred/yarn 関連のデーモンを開始します

機能する場合は、ここに投稿してください。

于 2012-11-25T14:33:44.313 に答える
0

両方を実行する必要はありません。Hadoop 2.0 を実行するだけです。Hadoop 1.0 用に作成された MapReduce アプリケーションとの完全な下位互換性が提供されます。API には小さな変更がいくつかあります。リンクを見て、変更がアプリケーションに影響するかどうかを確認してください。

于 2016-12-26T21:18:46.090 に答える
0

また、dfs name dir と data dir は、MR1 と MR2 で異なる必要があります。

<property>
    <name>dfs.name.dir</name>
    <value>/home/userx/hdfs/name</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/home/userx/hdfs/data</value>
</property>
于 2014-12-16T05:05:24.613 に答える