Hadoopジョブを作成し、EC2MapReduceで実行したいと思います。また、EC2にアップロードする前にローカルでジョブを実行したいと思います。
ローカルで使用する必要があるHadoopのバージョン/タイプはどれですか？Cloudera VMを使用できますか？Amazonが使用しているHadoopのバージョンはどれですか？
3175 次
3 に答える
1
Amazon Elastic MapReduceは、Hadoop 0.18、0.20、および0.20.205をサポートしています（http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/EnvironmentConfig_AMIVersion.html#ami-versions-supported）。
実行するものを指定できます。Clouderaを選択することはできません。EC2でrawインスタンスを実行し、独自のClouderaクラスターをセットアップすることができます。
ローカルで実行することはEMRとは何の関係もありません。テスト用にHadoopクラスターを疑似分散モードでセットアップするだけです。
于 2012-07-23T18:32:44.433 に答える
0
最近、AmazonはMapRM3およびM5のサポートも追加しました。
http://aws.amazon.com/elasticmapreduce/mapr/
次のリンクからMapRバイナリをダウンロードできます。
http://www.mapr.com/products/download/download-mapr-on-premise
恥知らずなプラグイン：Axemblr.comでは、複数のクラウドでのClouderaManagerターゲットに基づいてAmazonEMRに代わるものを構築しています。早期アクセスが必要な場合は、hello@axemblr.comまでご連絡ください。
于 2012-07-23T21:51:58.467 に答える
0
AmazonEMRはHadoop2.4.0を使用するようになりました。更新された情報：http： //docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html
于 2015-01-30T18:25:50.743 に答える