apache-spark - Windows マシンで Spark クラスターをセットアップするにはどうすればよいですか?

Question

Windows マシンで Spark クラスターをセットアップしようとしています。
ここに行く方法は、スタンドアロンモードを使用することですよね?
Mesos や YARN を使用しないことの具体的なデメリットは何ですか? そして、それらのいずれかを使用するのはどれほどの苦痛でしょうか? ここで経験した人はいますか？

Answer 1

簡単に言うと、YARN は最終的に Hortonworks Data Platform を介して Windows 上で動作するはずです (バージョン 2.0 ベータ版は YARN 上にありますが、現時点では Linux 上のみです)。別の潜在的なルートは、Hadoop 1.1 (Hortonworks Data Platform for Windows 1.1) に対して動作させることですが、スタンドアロン モードで実行するというアプローチは、間違いなく最も簡単に実行できる方法です。