1

Spark と HDFS を使用する Scala プロジェクトでSmileを使用しようとしています。モデルを再利用できるようにするために、モデルを HDFS に書き込む必要があります。

現在、書き込みオブジェクトを使用しており、パスが事前に存在するかどうかを確認し、存在しない場合は作成します (そうでない場合は、FileNotFoundException がスローされます)。

import java.nio.file.Paths

val path: String = "hdfs:/my/hdfs/path"
val outputPath: Path = Paths.get(path)
val outputFile: File = outputPath.toFile
if(!outputFile.exists()) {
  outputFile.getParentFile().mkdirs();  // This is a no-op if it exists
  outputFile.createNewFile();
}
write(mySmileModel, path)

ただし、これにより、実際に HDFS に書き込むのではなく、パス「hdfs:/my/hdfs/path」がローカルに作成され、そこにモデルが書き込まれます。
spark モデルとそのsaveメソッドを使用すると機能することに注意してください。

mySparkModel.save("hdfs:/my/hdfs/path")

したがって、私の質問:Smile モデルを HDFS に書き込む方法は?
同様に、モデルを HDFS に書き込むことができた場合、HDFS からモデルを読み取る方法についても疑問に思うでしょう。

ありがとう!

4

0 に答える 0