かなり大きなデータセットである最新の wikidump (22G txt ファイル) でGlove https://github.com/stanfordnlp/GloVe/blob/master/src/glove.cをトレーニングしようとしています。私がトレーニングしている語彙の総数は 1.7 ミルです。グローブがメモリエラーなしでスムーズに実行されるまで、すべてのファイル (shuffle、cooccur、vocab_count)。(私の RAM = 64G)

ただし、グローブを実行すると、「セグメンテーション違反 (コア ダンプ)」が発生します。

1、2、4、8、16、32など、さまざまなスレッド数でも試しましたが、何も実行されません。誰かが私にどこを見るべきか教えてもらえますか?

アップデート

ボキャブラリの数を 170 万から 100 万に削減し、glove.c は「セグメンテーション違反」エラーなしで実行されます。なので記憶違いです。しかし、このエラーを解決する方法を学び、より大きなデータセットでモデルをトレーニングできるようになりたいです! どんなコメントも高く評価されます。ありがとう。