Hadoop mapreduceで負荷分散をどのように処理できますか？ベンチマークテスト、使用可能なメモリ、CPUコアの数、CPU使用率、使用可能なGPUの数/使用量に基づいて、サーバーがワーカーノードにジョブを分散する分散アプリケーションを作成していますか？私はmapreduceの経験があまりなく、apacheのWebサイトにあるいくつかのドキュメントを読んだことがありますが、この問題を解決する方法がまだわかりません。ベンチマーク計算を実行して、このすべての情報を取得し、アルゴリズムによって入力を動的に分割することはできますか？
ありがとうございました！
「MapReduce はプログラミング モデルであり、大規模なデータ セットを処理および生成するための関連する実装です」MapReduce 論文の要約の抜粋。
コメントで言ったように、あなたのプロジェクトはデータ集約型ではなくコンピューティング集約型のようです。したがって、MapReduce は使用する必要があるツールではないと思います。
MapReduce システムのパフォーマンスは、均一なデータ分散に大きく依存します。Apache MapReduce フレームワークは、単純なアプローチを使用して作業負荷を分散し、各リデューサーに同じ数のクラスターを割り当てます。
処理時間を増加させる負荷の不均衡は、reducer タスクのランタイムの複雑性によってさらに増幅されます。特定のコスト モデルに基づいてレデューサーに分散されるタスクのコストを見積もる問題に対処するには、適応型の負荷分散戦略が必要です。