hadoop - Hadoopは常にノード間で作業を均等に分散しますか？

Question

200個の入力ファイルと20個のノードがあり、各ノードに10個のマッパースロットがあるとします。Hadoopは、各ノードが10個の入力ファイルを取得し、同時に10個のマッパーを開始するように、常に作業を均等に割り当てますか？この動作を強制する方法はありますか？

Answer 1

使用されるマッパーの数は、入力、特に入力分割によって決まります。したがって、あなたの場合、200 個のファイルを 200 個のマッパーに供給することができます。しかし、本当の答えはもう少し複雑です。による

• file size : ファイルがブロック サイズより大きい場合、ブロック サイズのチャンクがマッパーに送信されます

• ファイルは分割可能です。たとえば、gzip 圧縮ファイルは分割できません。そして、1 つのファイル全体が 1 つのマッパーに送られます (ファイルがブロック サイズよりも大きい場合でも)。