hadoop - Spark のデプロイ方法、最高のリソース使用率を実現できること

Question

10 台のサーバー (16G メモリ、8 コア) があり、Hadoop と Spark をデプロイしたいのですが、リソースを最大限に活用できるプランを教えてください。

1. 即時展開;

2. Openstack をインストールし、環境を仮想マシンにデプロイします。

3. Docker on Docker などの Docker を使用する。

使用シナリオに関連するリソースの使用率はわかっていますが、実際には上記の 3 つのプランの長所と短所を知りたいです。

ありがとうございました。

Answer 1

リソースの使用率を最大にするには、Spark と Hadoop の両方に単一のリソース マネージャーをデプロイするのが最善の方法です。そのための 2 つのオプションがあります。

• Spark は YARN で実行できるため、 YARNを使用して Hadoop クラスターをデプロイします。
• Apache Mesos クラスターをデプロイし、Hadoop ジョブと Spark を実行します。

Spark クラスターと Hadoop クラスターを分離しても、これ以上の利点はなく、オーバーヘッドが高くなり、リソース使用率が低下します。