クラスター上の他のアプリケーションとうまく連携するように Hadoop をセットアップすることは可能ですか?
私は Torque+Maui リソース スケジューラと、HadoopOnDemand を使用して一時的な Hadoop クラスターをプロビジョニングすることに精通しています。しかし、多くの人が Hadoop を使用したい場合、それはかなり面倒です。それぞれの人が、自分のミニ Hadoop クラスターをセットアップして破棄し、自分の HDFS との間でデータをコピーするなど、同じ頭痛の種を抱えています。
常に稼働している HDFS を使用して、人々が共有する Hadoop の永続的なインスタンスを 1 つ実行できれば、はるかに優れたものになるでしょう。これには、Hadoop が他のアプリケーション (たとえば R など) でビジーでないノードに作業をインテリジェントに割り当て、ジョブをキューに入れるときに貪欲にならないようにする必要があります。
これは可能ですか？