0

現在のセットアップ

  • 10 ノードの検出クラスターがあります。
  • このクラスターの各ノードには 24 個のコアと 264 GB の RAM があります。バックグラウンド プロセス用にメモリと CPU を確保し、240 GB のメモリを使用する予定です。
  • コンテナのセットアップに関しては、各コンテナに 1 つのコアが必要な場合があるため、最大 24 個のコンテナをそれぞれ 10GB のメモリで構成できます。
  • 通常、クラスターには 1 ～ 2 GB のメモリを備えたコンテナーがありますが、使用可能なコアが制限されているか、何か不足している可能性があります。

問題文

  • 私たちのクラスターはデータ サイエンティストやアナリストによって広く使用されているため、24 個のコンテナーだけでは十分ではありません。これにより、リソースの競合が激しくなります。

  • コンテナの数を増やす方法はありますか?

検討中のオプション

  • チームに多くの tez クエリを (個別にではなく) ファイルで実行するように依頼した場合、最大で 1 つのコンテナーを保持します。

リクエスト

  1. ディスカバリー クラスターを管理する他の方法はありますか。
  2. コンテナのサイズを小さくする可能性はありますか。
  3. vcore (論理的な概念であるため) を複数のコンテナーで共有できますか?
4

1 に答える 1

0

Vcore は単なる論理ユニットであり、CGroups で YARN を使用してyarn.nodemanager.resource.percentage-physical-cpu-limit有効にしている場合を除き、CPU コアに関連するものではありません。ほとんどのタスクが CPU バウンドになることはめったにありませんが、より一般的にはネットワーク I/O バウンドです。そのため、クラスターの全体的な CPU 使用率とメモリ使用率を調べれば、無駄な (予備の) 容量に基づいてコンテナーのサイズを変更できるはずです。

多くのツールを使用して使用率を測定できますがsar、 、 、gangliaおよびgrafanaは明白なツールですが、Brendan Gregg のLinux パフォーマンス ツールを参照して、より多くのアイデアを得ることができます。

于 2019-03-25T21:37:25.633 に答える