mpi - MPI バリアの複雑さ

Question

MPI バリアの時間計算量は? それらは多数のコア (>> 10k) に対応していますか?

Answer 1

Hristo Iliev は正しいですが、これらのスケールで使用される合理的な MPI 実装は、集合演算で対数の複雑さを持っていると想定できます。はい、これはスケールします >> 10k コア。さまざまな最新の実装の間には、依然として劇的な要因が存在する可能性があります。また、この規模では、OS ノイズが集合操作に非常に大きな影響を与える可能性があります (例 [ 1 ] を参照)。

Answer 2

単一の単語に対する allreduce としてバリアを実装でき、allreduce は O(log N) としてスケーリングされるため、複雑さは O(log N) より悪くないはずです。