java - パフォーマンスに関しては、典型的な恥ずかしい並列シナリオでは、MPI よりも Hadoop を使用する方が良いでしょうか?

Question

私は両方とも初めてですが、どちらを使用する方が良いかを理解したいと思います。

MPI_BcastHadoop は途方もない並列タスクでしか機能しないことは知っています (そして、MPI はそれ以外のほとんどすべてのタスクに適していることもわかっています) MPI_Allreduce。

では、それぞれ (Hadoop と MPI) の最適な使用シナリオについて詳しく教えてもらえますか? （パフォーマンスに関して）他の代わりに一方に目を向けるべきときはありますか？

Answer 1

MPIとHadoopは異なる目的のために設計されています。MPIは、比較的単純な通信ミドルウェアであり、スーパーコンピューターや専用コンピューティングクラスターなどの密結合の安定した静的システムでの使用に適しています。メッセージパッシングを非常に軽量かつ高速にしようとし、データ配列を処理するためのいくつかのオプションを提供します。異種環境をサポートしますが、フェイルオーバーやフォールトトレランスはサポートしません。1つのプロセスが停止したり、一部の計算ノードに障害が発生したりすると、通常、MPIジョブ全体が停止します。