私hdfs-site.xmlの場合、複製係数を 1 に設定しました。
ただし、結果を hdfs に書き込む場合:
someMap.saveAsTextFile("hdfs://HOST:PORT/out")
結果は自動的に 3 倍に複製され、自分の複製係数が上書きされます。スペースを節約するために、出力の複製係数も 1 にしたいと思います。
Spark に HDFS にレプリケーション ファクター 1 を使用するように指示するにはどうすればよいですか?
2673 次
私hdfs-site.xmlの場合、複製係数を 1 に設定しました。
ただし、結果を hdfs に書き込む場合:
someMap.saveAsTextFile("hdfs://HOST:PORT/out")
結果は自動的に 3 倍に複製され、自分の複製係数が上書きされます。スペースを節約するために、出力の複製係数も 1 にしたいと思います。
Spark に HDFS にレプリケーション ファクター 1 を使用するように指示するにはどうすればよいですか?