tdbloader2 を使用して Freebase ダンプをロードしようとしていました。しかし、例外が発生しました: "java.lang.OutOfMemoryError: Java heap "
JVM_ARGS を -Xmx60G に増やしても、同じ例外が発生します。(私のマシンは64Gです)。
tdbloader に切り替え、top を使用してメモリの消費を監視すると、メモリの使用量が 30 分以内に 15G まで劇的に増加しました。
======
より詳しい情報:
ダンプは rdf 形式で、複数の ttl ファイルに分割しました。それぞれが約 700M、合計で 90G です。
使った
tdbloader2 --loc kg x*.ttl
そして、tdbloader2スクリプトを修正し、行を変更しました
JVM_ARGS=${JVM_ARGS:--Xmx1024M}
することが
JVM_ARGS=${JVM_ARGS:--Xmx60G}
現在、正確なエラー出力はありません。しかし、新しい HashMap を作成しようとしたときに失敗したことを覚えています。