0.9 である最新の mahout リリースを使用する必要があります (すべての分散推奨アルゴリズムを使用する必要があるため)。この場合、どのバージョンの Hadoop を使用すればよいですか?
いくつかの場所で、hadoop 2.20 が mahout 0.9 でうまく動作しないことが言及されています。したがって、mahout 0.9 を使用できる最小の Hadoop バージョンは何ですか。
また、cloudera(CDH) を使用している場合、mahout 0.9 を使用するために使用するバージョンは何ですか。
これらすべてのバージョンの Mahout のデフォルト ビルドは、2.x ではなく Hadoop 1.x 用です。つまり、0.9 は実際には古い Hadoop バージョンで主に機能し、使用できる最小バージョンは最大で 1.x です。
それ以降のバージョン (約 0.8 から?) には、Hadoop 2 と相互運用する必要がある代替 Maven プロファイルを使用してビルドするためのサポートがいくつかあります。必要に応じて、いつでもビルドを試して、特定の Hadoop ディストリビューションの Hadoop バージョンでおそらく動作するリリースを取得できます。 .
CDH 4.x でさえ Hadoop 2.x に基づいていたため、Mahout 0.7 の配布にはパッケージの変更が含まれており、Hadoop 2 との相互運用も実現しました。他のベンダーも同様のことを行っており、それらの変更は上流に戻っています。
したがって、これらの各バージョンの CDH ディストリビューションは、Hadoop 2 に基づいている場合でも、対応する Hadoop のリリースと既に互換性があります。
CDH 5.0.0 は基本的に Hadoop 2.3 に基づいています。ビルドで Hadoop リリース 2.3.0 をターゲットにし、クラスターで独自のビルドの Mahout を使用することで、Mahout 0.9 を使用できます。
現在、CDH 5.0.x クラスターを使用していますが、Mahout 0.9 のいくつかの修正と改善も必要でした。
そのため、JAR アセンブリを CDH 5.1.Snapshot リリースの Mahout 0.9 でパッケージ化し、「hadoop jar」コマンドで簡単に実行します。
もちろん、Mahout 0.9 コマンド ライン インターフェイスは使用できませんが、少なくとも独自のジョブを作成することはできます。