2

Mapreduce と Hadoop を学んでいます。いくつかのテストを実行し、単一のノードでいくつかのサンプルを実行できることはわかっています。しかし、実際の分散環境で実際に練習したいと思っています。そこで質問したいのですが、実験を行うための分散環境を提供できる Web サイトはありますか?

Amazon Web サービスを使用して分散環境を構築できると誰かが教えてくれました。それは本当ですか？誰かがそのような経験をしていますか？

Hadoop を仕事で使用する前に、皆さんがどのように Hadoop を学んでいるのか知りたいですか?

ありがとうございました！

4

4 に答える 4

5

いくつかのオプションがあります:

  • Map/Reduce パラダイムについて知りたいだけなら、JSMapReduceをご覧になることをお勧めします。これはブラウザーに直接組み込まれているため、何もインストールする必要がなく、実際の Map/Reduce プログラムを作成できます。
  • 具体的に Hadoop について学びたい場合、Amazon はElastic Map Reduceと呼ばれるものを持っています。これは本質的に AWS で実行される Hadoop です。これにより、Hadoop ジョブを作成し、クラスターに必要なマシンの数、どのタイプのマシンを使用するかを決定できます。 EMR がすべてを行い、マシンをブートストラップし、ジョブを実行し、結果を S3 に保存します。このチュートリアルを見て、EMR でジョブをセットアップする方法を理解することをお勧めします。ただし、EMR は無料ではないため、コンピューティング リソースに対して料金を支払う必要があります。

別の方法として、EMR のコストを支払うつもりがない場合は、ここで説明されているように、ローカル マシンに非分散モードで Hadoop をいつでもセットアップし、それを試すことができます。単一ノードのセットアップであっても、抽象化は大規模なクラスターを使用している場合と同じになるため、スピードを上げてから、真剣に取り組みたいときに EMR または実際のクラスターに進むのに適した方法です。

于 2013-05-21T06:19:31.740 に答える
1

Amazon は無料利用枠を提供しているので、いくつかの VM をスピンアップして試してみることができます。マイクロ インスタンスはそれほど強力ではありませんが、小規模なテストには適しています。

十分に強力な場合は、デスクトップで VM を起動することもできます。VMPlayerを使用して自分でこれを行いました。好きなフレーバーの Linux を無料でインストールできます。 Ubuntuはとても簡単に始めることができます。VM のネットワークをセットアップするときは、必ずブリッジ ネットワークを使用してください。こうすることで、各 VM がネットワーク上で独自の IP アドレスを取得し、相互に通信できるようになります。

于 2013-05-24T08:41:58.613 に答える
0

私はそれについてあまり知りませんが、別のオプションは Greenplum の分析ワークベンチ (テスト用の Hadoop を備えた 1000 ノード クラスター) かもしれません: http://www.greenplum.com/solutions/analytics-workbench

于 2013-05-22T22:30:13.080 に答える