1

私はクラウド上で実行される検索エンジンの設計に取り組んでいます。私たちはまだ始めたばかりで、Hdoopについてはあまり考えていません。HBase、MapReduce、およびHDFSが、Hdoopがインストールされ、実行されている単一のマシンで動作できるかどうかを誰かが知ることができますか？

4

3 に答える 3

2

はい。私の開発環境では、

  • NameNode（HDFS）
  • SecondaryNameNode（HDFS）
  • DataNode（HDFS）
  • JobTracker（MapReduce）
  • TaskTracker（MapReduce）
  • マスター（HBase）
  • RegionServer（HBase）
  • QuorumPeer（ZooKeeper-HBaseに必要）

さらに、アプリケーションを実行し、タスクトラッカーによって起動されるタスクをマッピングして削減します。同じマシンで非常に多くのプロセスを実行すると、CPUコア、メモリ、およびディスクI / Oの競合が多くなるため、高性能には最適ではありませんが、使用可能なリソースの量以外に制限はありません。

于 2010-09-17T19:47:13.190 に答える
2

はい、できます。仮想マシンを作成して、単一の「コンピューター」で実行することもできます（これは私が持っているものです:)）。

重要なのは、 Hadoopクイックスタートでも説明されている「疑似分散モード」でHadoopをインストールすることです。

Clouderaディストリビューションを使用する場合は、RPMでそれに必要な構成も作成されています。その詳細については、こちらをご覧ください。

HTH

于 2010-09-20T18:33:21.530 に答える
2

ここでも同じですが、1台のコンピューターでhadoop / hbase/hiveを実行しています。本当に1台のコンピューターで分散コンピューティングを見たい場合は、大量のRAMとハードディスク容量を取得して、次のようにします。

  1. 1つまたは2つの仮想マシンを作成します（仮想ボックスを使用）
  2. それらのそれぞれにhadoopをインストールし、マスターとして実際のインストール（仮想インストールではない）を作成し、スレーブを休ませます
  3. 実際の分散環境用にHadoopを構成する
  4. これで、Hadoopが開始されたときに、実際には複数のコンピューターのクラスターが必要になります（1台は実在、残りは仮想）

これは単なる実験である可能性があります。適切なマルチCPUまたはマルチコアシステムがない限り、このような構成では、パフォーマンスを提供するよりも、それ自体の維持に多くの時間を費やすからです。

幸運を祈ります。

--l4l

于 2010-09-27T07:25:07.203 に答える