1

Cloudera CDH4 クラスターのセットアップで簡単なベンチマーク テストを実行する必要があります。Cloudera クラスターのセットアップ (CDH4) には、A、B、C、D の 4 つのノードがあります。Cloudera Manager の無料版を使用して Cloudera サービスを管理しています。各ノードは、以下に示すように複数の役割を実行するように構成されています。A : NameNode、JobTrackerNode、regionserver、SecondaryNameNode、DataNode、TaskTrackerNode B : DataNode、TaskTrackerNode C : DataNode、TaskTrackerNode D : DataNode、TaskTrackerNode

私の最初の質問は、1 つのノードを NameNode と DataNode にすることはできますか? この設定で大丈夫ですか？2 番目の質問は、cloudera manager UI で多くのサービスが実行されているのを確認できますが、これらすべてのサービスが必要かどうかわかりません。私のセットアップで実行されているサービスは次のとおりです。 hbase1 hdfs1 mapreduce1 hue1 oozie1 Zookeeper1

hdfs1 および mapreduce1 サービスのみが必要ですか。はいの場合、他のサービスを削除するにはどうすればよいですか?

クラウドと Hadoop の概念は私にとって初めてのことなので、私の仮定の一部が非論理的または間違っている場合はご容赦ください。

4

1 に答える 1

3

最初の質問への答えはイエスです。しかし、NameNode は十分な量の RAM を必要とするため、本番環境では決してそれを行うことはありません。人々は通常、自分のマスター ノードで NameNode+JobTracker のみを実行します。SecondarNameNode を別のマシンで実行することもお勧めします。

2 番目の質問ですが、Cloudera Manager は Hadoop だけではありません。これは、HBase (NOSQL DB)、Oozie (ワークフロー エンジン) などのいくつかの Hadoop サブプロジェクトを含む完全なパッケージであり、これらは UI に表示されるプロセスです。

Hadoop だけで遊びたい場合は、HDFS と MapReduce で十分です。残りのプロセスは、UI 自体から簡単に停止できます。Hadoop クラスターに害を及ぼすことはありません。

HTH

于 2012-12-23T18:51:24.907 に答える