0

最適化の理由から、マップ タスクは通常、同じノードにあるデータに対して実行されると読みました。しかし、私のジョブ トラッカー (hadoop 管理ページ) では、たとえば node1 で実行されているマップ タスクの入力分割場所が、node3、node1、および node4 からのものであることがわかりました。全部で 10 個のマップ タスクを生成しましたが、そのうちのいくつかでは、入力分割位置がマップ タスクのノード以外の 3 つの異なるノードを指しています。これは一般的で大丈夫ですか?入力ファイルを hdfs にロードする方法と、それらがクラスター内で均等に分散されていることに関連していますか? これがうまくいかない場合、マップ タスクができるだけ同じノードからデータを取得するようにするにはどうすればよいですか?

4

1 に答える 1