私は現在Apache Sparkに取り組んでおり、WebアプリケーションからJavaコードを実行しようとしています. コードを Java アプリケーションとして実行しようとすると、正常に動作します。しかし、それを Web アプリケーションとしてデプロイしようとすると、プログラムがモデルを保存する段階に達したときにmodel.save(sparkcontext,modelpath)、permgen java.lang.OutOfMemory exception. しかし、モデルをオブジェクトファイルとして書き込もうとすると、次のようになります。
File modelFile = new File(modelPath);
if(!modelFile.exists()){
modelFile.createNewFile();
}
FileOutputStream fout = new FileOutputStream(modelFile);
ObjectOutputStream oout = new ObjectOutputStream(fout);
oout.writeObject(model);
oout.close();
それは正常に動作します。model.save()Apache Spark ではどのように実装されていますか?
モデルを保存する他の方法はありますか?
前もって感謝します