私は Microsoft Windows ユーザーで、Apache Hadoop は初めてです。私が見つけた Hadoop チュートリアルのほとんどは Linux ベースであるため、Windows で Hadoop を学ぶのは難しいと感じています。Windows で Hadoop を学習するための指針があれば最適です。
7 に答える
Hadoop の学習が主な目的である場合、Windows と Linux のどちらで学習しても問題ありません。両方のプラットフォームですべてがまったく同じだからです。私は両方のプラットフォームで Hadoop を広く使用してきましたが、すべてのコマンドと処理が Windows と Linux で同じであることがわかりました。だからここに私の提案があります:
- Windows マシンに VMware VMPlayer をダウンロードします。
- VMware 用 CDH 仮想マシンをダウンロード https://ccp.cloudera.com/display/SUPPORT/Downloads
Windows ボックスで仮想マシンにアクセスし、Linux の場合とまったく同じチュートリアルに従います。
「Syncfusion BigData Studio」を試して、ローカル マシンで単一ノード クラスターを実行し、必要なエコシステムをインストールすることもできます。また、「Syncfusion BigData Platform」を使用すると、ユーザーが手動で構成することなく、非常に簡単な方法でクラスターを管理できます。これらの 2 つのセットアップは「誰でも 100% 無料」です。
セットアップのダウンロードと詳細については、 http ://www.syncfusion.com/products/big-data を参照してください。
Linux の経験がない場合は、Amazon Elastic MapReduce を試すこともできます。これはより効率的です。
Hadoop を Windows でコンパイルし、zetabyte の「Apache Hadoop for Windows」としてリリースしました。コア・共通パッケージの他、GNU環境(bash等)のパッケージもご用意しております。
Hadoop 2.2 の最新リリースでは、リリース ノートに、このバージョンでは Windows での Hadoop の実行が大幅に改善されていることが記載されています。昨日 Hadoop 2.2 をダウンロードしたところ、多くの .cmd ファイルと .sh ファイルがあり、このバージョンには Windows 環境で Hadoop を実行するためのスクリプトとバッチ ファイルが確実に含まれています。しかし、Apache Hadoop のドキュメントを見ても、この新しいバージョンを Windows にインストールして実行するための段階的な手順は見つかりませんでした。これに加えて、新しいバージョンには YARN アーキテクチャが組み込まれているように見え、オンラインのチュートリアルの一部で提供されている古い構成は古くなり、適用できなくなっている可能性があります。オンラインで入手できる Hadoop 2.2 の適切なドキュメントはありますか? 特に、Win 環境で Hadoop を実行するために必要です
1 台のマシンで実行される仮想 2 ノード クラスターとして、Windows で Hadoop をネイティブに使用しています。Cygwin 内で実行されます (VM はありません)。Hadoop を試すのにうまく機能し、クラスターに配置する前に新しいコードを小規模にテストするために今でも使用しています。基本的に、完全なクラスターと同様に、すべての機能を利用できます。ただし、それを機能させるのは少し難しい場合があります。
次の短いガイドを使用しました: Stanford Hadoop for Windows ガイド
これは私にとってはうまくいきました。非常に重要なのは、0.20.0 を使用することです! 上位バージョンは Cygwin では動作しません。デフォルトのノード数を 2 のままにしておくのが最善だと思います。この方法で、作業を複数のノードに分割することが機能するかどうかをテストできますが、同時ノードが増えるとメモリの問題が発生する可能性があります。
Windows-7、cygwin-1.7、jdk1.7_x64 に Hadoop-1.0.1 を移植することができました。
ただし、初心者向けではありません。hadoop にパッチを適用して再コンパイルする必要があります。