4

私は Hadoop、HBase、Hive の初心者です。Hadoop、HBase、および Hive を疑似分散モードでインストールしたところ、すべて正常に動作しました。現在、Hive、HBase、および ZooKeeper を使用して単純な Hadoop クラスター (5 ノード) をセットアップすることを計画しています。以前にいくつかのドキュメントと指示を読んだことがありますが、質問に対する適切な説明が見つかりませんでした。すべてのデーモンを実行する場所がわかりません。これは私の考慮事項です：

Node_1 (マスター)

  • NameNode

  • ジョブトラッカー

  • HBase マスター

  • ZooKeeper (スタンドアロン ノード、HBase で管理)


Node_2 (バックアップ_マスター)

  • セカンダリ名ノード


Node_3 (スレーブ 1)

  • DataNode1

  • TaskTracker1

  • 地域サーバー1


Node_4 (スレーブ 2)

  • DataNode2

  • TaskTracker2

  • RegionServer2


Node_5 (スレーブ3)

  • DataNode3
  • TaskTracker3
  • RegionServer3

本番環境では、ZooKeeper アンサンブルを奇数のノード (個別のクラスター) で実行することをお勧めします。しかし、単純なクラスターの場合、マスター ノードで実行されるスタンドアロンの ZooKeeper ノードをセットアップしても問題ないでしょうか?

もう 1 つの質問は Hive に関するものです。Hive が Hadoop クライアントであることは知っています。マスター ノードにも Hive をインストールする必要がありますか? それは理にかなっていますか？

すべてのヒントとコメントをありがとう！ハカン

注: クラスターをシミュレートするマシンは 5 台しかありません。

4

3 に答える 3

0

説明したクラスターをテスト目的で使用する場合は、すべてのマスター ノードを同じサーバーに配置してもかまいません。また、SecondaryNameNode ロールを Node_1 に移動することもできます。SecondaryNameNode は NameNode のバックアップ サーバーではなく、 NameNode のチェックポイントを作成するために存在するためです。そのため、Node_2 をクラスター内の別の「ワーカー」ノードとして使用するか、HiveServer2 とメタストアを使用するのが理にかなっています。

これが役立つことを願っています。

于 2015-02-23T06:31:14.403 に答える
0

テスト目的で、マスター ノードに Zookeeper をセットアップできると思います。それらすべてを同じサーバーにインストールしました。

クラスターに 5 台のマシンがあるのに、なぜ Hadoop を疑似分散モードでインストールしたのか、あなたの質問から私が理解できないことは何ですか? 完全分散モードをインストールする方がよい場合があります。

ハイブの場合、hadoopでインストールする必要があるようです

Hive uses hadoop that means:

you must have hadoop in your path OR export HADOOP_HOME=<hadoop-install-dir>
于 2012-11-13T09:07:14.423 に答える
0

Hive の場合、hadoop でインストールする必要があるようです。Hive は hadoop を使用します。つまり、パスに hadoop が含まれている必要があります。または HADOOP_HOME= をエクスポートする必要があります。

@iTech : そうです。Hive をインストールする場合は、変数 "HADOOP_HOME" を Hadoop インストール パスに設定する必要があります。しかし、それは問題ではありません。前に述べたように、私は以前、疑似分散モードで Hadoop と Hive を使用していました。

唯一の問題は、完全分散モードの 5 ノード クラスタですべてのデーモンを実行する場所がわからないことです。多くのツール (Hadoop、HBase、Hive) を一緒に実行したいので、混乱しています。

どなたか良いヒントがあればお願いします...

于 2012-11-13T19:59:42.637 に答える