Torque+Maui のクラスターがあります。Hadoop を同じクラスターにインストールすることは可能ですか? 可能であれば、これを行うことの長所と短所は何ですか?
1 に答える
0
これは始めるのに良い場所かもしれません：
http://hadoop.apache.org/docs/r0.18.3/hod.html
私は個人的にそれを扱ったことはありませんが、これは積極的に維持されていないと聞いています。
私が見たところ、Hadoop には独自のスケジューラがあり、Hadoop ファイル システムが存在する場所で一連の Hadoop ノードが実行されることを期待しています。これは通常、永続的な環境であるため、ファイル システムを 1 回 (ビッグ データ) ロードし、必要なデータのコピーをたまたま保持しているノードにジョブを割り当てることができます。Torque は、クラスターから空きノードのセットを取得し、それらをジョブに割り当て、ジョブを実行してから、次のジョブのために環境をクリーンアップする傾向があります。これは、Hadoop の設計に反します。
既存のシステムを最大限に活用するために両方を実行できる環境があればよいことはわかりますが、管理はせいぜい面倒です。
于 2014-08-27T17:46:14.290 に答える