12

Hadoop の Edge ノードのアーキテクチャについて説明してもらえますか。インターネットで定義のみを見つけることができます。次のクエリがあります-

1) エッジ ノードはクラスターの一部である必要がありますか (クラスター内にある場合、どのような利点がありますか?)。hdfsにデータのブロックを保存しますか。

2) エッジ ノードはクラスターの外部に配置できますか?

4

3 に答える 3

22

デルの説明で+1。私の意見では、Hadoop クラスターのエッジ ノードは通常、Hadoop クラスターのクライアント側の操作を実行する役割を担うノードです。通常、エッジノードは HDFS、MapReduce などの Hadoop サービスを含むノードから分離され、主にコンピューティング リソースを分離します。少数のノードしかない小規模なクラスターの場合、ノードがマスター サービス (JT、NN など)、スレーブ サービス (TT、DN など)、およびゲートウェイ サービスの役割のハイブリッドな組み合わせを果たしているのが一般的です。

マスターとスレーブの Hadoop サービスを同じノードで実行することは理想的なセットアップではなく、使用内容によってはスケーリングとリソースの問題が発生する可能性があることに注意してください。この種の構成は通常、小規模な開発環境で見られます。

そうは言っても、投稿された質問に対するいくつかの回答は次のとおりです。

1) エッジ ノードはクラスターの一部である必要がありますか?

エッジ ノードはクラスターの一部である必要はありませんが、クラスターの外部にある場合 (特定の Hadoop サービス ロールが実行されていないことを意味します)、Hadoop バイナリや現在のクラスターでジョブを送信するための Hadoop クラスター構成ファイル。

2) クラスター内にある場合、どのような利点がありますか?

使用中のディストリビューションに応じて、クラスタ内でエッジ ノードを実行すると、クラスタ ノード上のすべての Hadoop 構成エントリを一元管理できるため、構成ファイルの更新に必要な管理の量を減らすことができます。通常、これは 1 対多のアプローチであり、構成エントリが 1 つの場所で更新され、クラスタ内のすべての (多数の) ノードにプッシュされます。

ただし、クラスター内のノードの 1 つがエッジ ノードとしても使用されている場合、クライアント操作によって消費される CPU およびメモリ リソースがあり、そのノードで実行中の Hadoop サービスによって利用できる利用可能なリソースが損なわれます。

3) データのブロックを hdfs に保存しますか?

エッジ ノードが DataNode サービスで構成されていない限り、データのブロックはそのノードに保存されません。

4) エッジ ノードはクラスタの外にある必要がありますか?

前述のように、クラスター環境とユースケースに依存する可能性があります。クラスター外で構成する理由の 1 つは、クライアント実行サービスと Hadoop サービスを分離しておくことです。

エッジ ノードを分離しておくと、そのノードは Hadoop 処理に使用できるコンピューティング リソースをフルに活用できます。

お役に立てれば！

于 2013-12-05T00:21:12.907 に答える
7

エッジノードは、一般的な Hadoop 用語ではありません。あなたの質問に答えるはずの私と同じ定義を見つけたと思います....これはデルからのものです。

EdgeNode – EdgeNode は、Hadoop 環境を利用する必要がある外部アプリケーション、ツール、およびユーザーのアクセス ポイントです。EdgeNode は、Hadoop クラスターと企業ネットワークの間に位置し、Hadoop 環境にアクセス制御、ポリシーの適用、ログ、およびゲートウェイ サービスを提供します。一般的な Hadoop 環境には、パフォーマンスのニーズに応じて、少なくとも 1 つの EdgeNode とそれ以上の EdgeNode があります。

だから、それは本当にあなた次第です。Edgenode はクラスター内にある場合とそうでない場合があります。Hadoop ソフトウェアを実行するか、単にアクセスできるだけです。私が見る限り、基本的には必要ありません。これは、クラスターにアクセスできる方法に付けられた名前にすぎません。

于 2013-05-29T11:32:35.623 に答える