machine-learning - 大きなarffデータセットファイルでwekaを実行する

Question

私は、NLP 関連のプロジェクトのそれぞれarffを含むファイルを持っています。現在、形式は密な形式ですが、疎な表現を使用すると、エントリを大幅に減らすことができます。で実行しており、制限を 1536 MB まで増やしているにもかかわらず、 を取得しています。700 entries42000+ featurescore 2 duo machine with 2 GB RAMmemory out of range eception

arff ファイルをスパース表現に変換すると、何か利点がありますか?それとも、はるかに強力なマシンでコードを実行する必要がありますか?

Answer 1

アルゴリズムの内部データ構造と、データの処理方法 (インクリメンタルまたはすべてメモリ内) に応じて、より多くのメモリが必要になるかどうかが決まります。したがって、必要なメモリはアルゴリズムによって異なります。

スパース表現はコンパクトなので簡単ですが、私の知る限り、アルゴリズムは同じデータセットからモデルを作成するために同じ量のメモリを必要とします。入力は、アルゴリズムに対して透過的な形式にする必要があります。