キャパシティ スケジューラを使用する YARN は、ユーザー リクエストにリソースを割り当てるときにメモリのみを考慮に入れます-num-executors 1 --executor-cores 3"の場合、yarn は4GB のメモリと 1 つの vcpuを持つエグゼキューターを割り当てますが、タスクを実行しているときは、3 つのタスクを並列に実行します。
一度に 3 つのセットとしてすべてのタスクを実行するために、その 1 つのコアだけを使用していますか?
CPU スケジューリングと CGroups (HDP クラスター内) を有効にすると、糸は 3 つの vcpu コアを割り当て、その 3 つのタスクのセットは各 CPU で実行されますか? 処理時間は本当に改善されますか?
今のところ、ノード マネージャーの起動時に次のエラーが発生したため、クラスター (HDP 2.6.5 centos 7.5) で CPU スケジューリングを有効にできませんでした。 /cpu,cpuacct"