以下のコマンドを使用して、1 つの Hadoop クラスター (バージョン 0.20.2) から別の Hadoop クラスター (バージョン 2.2.0) に distcp を実行しています。
hadoop distcp -update -skipcrccheck
"hftp://x.x.x.x:50070//hive/warehouse//staging_eventlog_arpu_comma"
"hdfs://y.y.y.y:9000//hive/warehouse/staging_eventlog_arpu_comma"
そのため、帯域幅の使用率は送信元から送信先までである必要があります。ただし、ソースから宛先へのネットワーク使用率よりも、宛先からソースへのネットワーク使用率が高くなります。
hadoop distcp -bandwidth 指定:
Each map will be restricted to consume only the specified bandwidth.
This is not always exact.
The map throttles back its bandwidth consumption during a copy,
such that the net bandwidth used tends towards the specified value.
それで、それは何を抑制しますか。