1

仮想ボックスを使用して 12 ノードの Hadoop クラスターを実行したいと考えています。仮想ボックス内でそれぞれ 4 つのデータノード ノードを実行する 3 つの実機があります。LANワイヤーを使用して2台のマシンを接続し、8ノードのクラスターを作成できます。ここで、12 ノード クラスタを実行できるように、3 台目のマシンをスイッチ経由で接続する必要があります。NameNode の RAM は 1 GB で、すべてのデータノードは 512 MB です。すべてのマシンで 64 ビット コア i3 プロセッサを使用しており、各ノードの容量は 8GB です。私の質問は、次のスイッチをネットワーク トポロジに使用できますか?

http://www.flipkart.com/d-link-5-port-10-100base-t-unmanaged-switch-network/p/itmdffymrfgngzsf?pid=NSWDFFYGUQ9GHMF9&ref=1938618c-3737-471e-941b-3e4bb41972fe&srno=t_1&otracker= from-search&query=switch

100 Mbpsの速度をサポートしているため。大学のプロジェクトなので、予算は限られています。

4

2 に答える 2

1

セットアップは、一般的なHadoopワークロードには明らかに適していません。高速ネットワークと大量のRAMが必要です。ミニクラスターを使用するよりも、すべてのディスクとRAMを1台のマシンに配置する方がパフォーマンスが向上すると確信していました。

ただし、それが教育のみのプロジェクトであり、中規模または大規模のデータで作業する予定がなく、パフォーマンスを気にしない場合は、機能します。設定によると、100MBのネットワークがボトルネックになるかどうかはわかりません。

于 2013-03-15T19:57:52.733 に答える
1

遅くなりますが、問題なく動作します。

于 2013-03-15T17:54:25.990 に答える