Linuxで27GBのテキストファイルを処理する機械学習分析プログラムを開発しています。私の運用システムは頻繁に再起動することはありませんが、自宅のコンピューターまたは開発環境でテストする必要があります。
現在、停電が頻繁に発生するため、3 週間連続して使用することはほとんどできません。
私のプログラムはファイルを読み取り、いくつかの解析を適用し、フィルタリングされたデータを辞書の新しいファイルに保存します。次に、それらのファイルにアルゴリズムを適用し、結果を mysqlDB に保存します。
アルゴリズムの状態を保存する方法がわかりません。