java - モデルを ML Pipeline から S3 または HDFS に保存する方法は?

Question

ML Pipeline によって生成された何千ものモデルを保存しようとしています。こちらの回答に示されているように、モデルは次のように保存できます。

import java.io._

def saveModel(name: String, model: PipelineModel) = {
  val oos = new ObjectOutputStream(new FileOutputStream(s"/some/path/$name"))
  oos.writeObject(model)
  oos.close
}

schools.zip(bySchoolArrayModels).foreach{
  case (name, model) => saveModel(name, Model)
}

最終的にモデルを amazon s3 に保存したいので、 を使用s3://some/path/$nameしてみ/user/hadoop/some/path/$nameましたが、どちらもパスが見つからないことを示すメッセージで失敗します。

モデルを Amazon S3 に保存する方法は?

Answer 1

そのため、( hadoopFileOutputStreamライブラリではなく) ローカル ファイルシステムに保存されるため、ローカル ディレクトリに保存することがこれを行う方法です。そうは言っても、ディレクトリが存在する必要があるため、最初にディレクトリが存在することを確認してください。

そうは言っても、モデルによっては、https ://spark.apache.org/docs/latest/mllib-pmml-model-export.html (pmml エクスポート) を参照することをお勧めします。