docker - YARN を使用して Hadoop クラスターにアプリケーションをインストールする方法は?

Question

私はYARNを学ぼうとしています。しかし、私は障害にぶつかりました。いくつか質問があります。

1. すべてのアプリケーションについて、データ ノードにはそれぞれコンテナーが必要です。しかし、これらのコンテナーは、アプリケーションの実行中に独自に作成されるのでしょうか?それとも作成する必要があるのでしょうか?

2. Docker では、別のマシンとして動作するコンテナーにアクセスできます。同様の方法でコンテナにアクセスできますか?

3. Docker では、コンテナーはコンテナーの外部を見ることができず、コンテナー プロセス ID を持ち、ホスト マシンからはプロセス ID も持つため、独自のシステムとして動作します。つまり、コンテナーは他のプロセスから分離されています。YARNにも同様の概念はありますか?

前もって感謝します！！！:)

Answer 1

YARN は、あなたが思っているようなものではありません。docker コンテナを起動するためのものではありません。YARN は、分散アプリケーション (Spark、MapReduce など) を起動するためのものです。

1. YARN にアプリを「インストール」することはできません。YARN でアプリを「実行」できます。

2. コンテナーは、分散アプリケーションのすべてのプロセスが YARN によって割り当てられた限られたリソースで実行されることを指定する YARN 抽象化です。コンテナは単なる Java プロセスであるため、アクセスできません。

3. 前に述べたように、YARN のコンテナーは通常の Linux プロセスです。「ps」などを実行すると、そのpidを確認できます。