hadoop - Hadoop - リデューサーからマッパー ポートへ

Question

http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapreduce/Reducer.htmlによる と

レデューサーは、ネットワーク全体で HTTP を使用して各 Mapper からソートされた出力をコピーします。

このデータ転送に使用されるノードのポートは? デフォルトで50060ですか？

Answer 1

これは、各スレーブ ノードで実行されているタスク トラッカーのポートで、通常は 50060 です (タスク トラッカーのログ ファイルで確認できます。

2012-05-29 20:24:23,925 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50060 webServer.getConnectors()[0].getLocalPort() returned 50060
2012-05-29 20:24:23,925 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50060
2012-05-29 20:24:23,925 INFO org.mortbay.log: jetty-6.1.26
2012-05-29 20:24:24,283 INFO org.mortbay.log: Started SelectChannelConnector@0.0.0.0:50060