問題タブ [planning]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
127 問題
0
投票する
1
に答える
134
参照
hadoop - ディスカバリー クラスターでの糸コンテナーの利用を増やすために必要な提案
現在のセットアップ
- 10 ノードの検出クラスターがあります。
- このクラスターの各ノードには 24 個のコアと 264 GB の RAM があります。バックグラウンド プロセス用にメモリと CPU を確保し、240 GB のメモリを使用する予定です。
- コンテナのセットアップに関しては、各コンテナに 1 つのコアが必要な場合があるため、最大 24 個のコンテナをそれぞれ 10GB のメモリで構成できます。
- 通常、クラスターには 1 ～ 2 GB のメモリを備えたコンテナーがありますが、使用可能なコアが制限されているか、何か不足している可能性があります。
問題文
私たちのクラスターはデータ サイエンティストやアナリストによって広く使用されているため、24 個のコンテナーだけでは十分ではありません。これにより、リソースの競合が激しくなります。
コンテナの数を増やす方法はありますか?
検討中のオプション
- チームに多くの tez クエリを (個別にではなく) ファイルで実行するように依頼した場合、最大で 1 つのコンテナーを保持します。
リクエスト
- ディスカバリー クラスターを管理する他の方法はありますか。
- コンテナのサイズを小さくする可能性はありますか。
- vcore (論理的な概念であるため) を複数のコンテナーで共有できますか?