Spark と HDFS を使用する Scala プロジェクトでSmileを使用しようとしています。モデルを再利用できるようにするために、モデルを HDFS に書き込む必要があります。
現在、書き込みオブジェクトを使用しており、パスが事前に存在するかどうかを確認し、存在しない場合は作成します (そうでない場合は、FileNotFoundException がスローされます)。
import java.nio.file.Paths
val path: String = "hdfs:/my/hdfs/path"
val outputPath: Path = Paths.get(path)
val outputFile: File = outputPath.toFile
if(!outputFile.exists()) {
outputFile.getParentFile().mkdirs(); // This is a no-op if it exists
outputFile.createNewFile();
}
write(mySmileModel, path)
ただし、これにより、実際に HDFS に書き込むのではなく、パス「hdfs:/my/hdfs/path」がローカルに作成され、そこにモデルが書き込まれます。
spark モデルとそのsaveメソッドを使用すると機能することに注意してください。
mySparkModel.save("hdfs:/my/hdfs/path")
したがって、私の質問:Smile モデルを HDFS に書き込む方法は?
同様に、モデルを HDFS に書き込むことができた場合、HDFS からモデルを読み取る方法についても疑問に思うでしょう。
ありがとう!