java - 使用する Hadoop API のバージョン

Question

Cloudera および Yahoo ディストリビューションの一部として利用できる Hadoop API には、いくつかのバージョンがあります。さらに、Cloudera には cdh3u1 から cdh3u4 のバージョンがあります。

API メソッドも、名前の付け方や受け取るパラメーターが変わることがわかりました。

最新で安定している Hadoop API のどのバージョンを、どこから使用できますか?

Answer 1

Hadoop APIのどのバージョンをどこから使用できますか？それは最新で安定していますか？

最初に注意すべきことは、最新の安定したAPIが連携していないことです。最新のAPIが確実になり、すべてのバグが発見されて修正されるまでには、しばらく時間がかかります。

パッケージソフトウェアに興味がある場合は、Clouderaにアクセスし、安定版またはアルファ版をダウンロードして試してみてください。HortonWorksの場合、利用可能な唯一のバージョンであるHDP1.0をダウンロードできます。Clouderaは定期的に4年近くCDHをリリースしているため、HortonWorksのHDPと比較してより成熟しています。CDHには次世代のMapReduceが含まれていますが、HDPには従来のMapReduceアーキテクチャが含まれています。

上記のパッケージ（CDHおよびHDP）には、十分に統合およびテストされたフレームワークのセットがあります。したがって、フレームワークの使用方法を学ぶことが重要です。異なるフレームワーク間の相互運用性の問題について心配する必要はありません。

Hadoopについて本当に学びたい場合は、Apache Hadoopからソフトウェアをダウンロードしてから、インストールと構成を進めることをお勧めします。同じことがPig、Hive、その他のソフトウェアにも当てはまります。いくつかの互換性の問題が見つかる可能性がありますが、続行すると解決する必要があります。

Apache Hadoopスペースには、安定したレガシーMRアーキテクチャーを備えた1xトラックと、次世代のMapReduceアーキテクチャーを備えた2xトラックがあります。