Neo4j には、約 180000 のエッジを含むリレーションシップ インデックス「index_e_ASSOC_sMETHdGEXP」があり、すべて属性「プロパティ」があります。この時点で、プロパティ値に関係なく、インデックスから 200 個のエッジをリストする単純なクエリを実行したいと考えています (後で、エッジ プロパティが <= 0.01 である 200 個の最初のエッジ アウト頂点に対して同じ属性値をフェッチするようなクエリを実行します)。 out ノードからいくつかの属性値をフェッチします。
time = System.currentTimeMillis();
t = new Table(); g.idx('index_e_ASSOC_sMETHdGEXP')[[property: Neo4jTokens.QUERY_HEADER + "*"]][0..200].outV().id.as('nodeId').back(1).alias.as("alias").back(1).chr.as('chr').table(t,["nodeId","alias","chr"]).iterate();
System.currentTimeMillis() - time
=713ms
インデックスから 200 個の最初のエッジを取得するには262msかかります。
time = System.currentTimeMillis();
g.idx('index_e_ASSOC_sMETHdGEXP')[[property: Neo4jTokens.QUERY_HEADER + "*"]][0..200];
System.currentTimeMillis() - time
最初のクエリの完了が非常に遅いのはなぜですか? 「所定のリスト」から 200 個のエッジを取得し、すべての出力ノードからいくつかの属性値を取得するのに、それほど時間はかかりません。私は Cypher と Gremlin に関しては完全な初心者なので、Cypher または Gremlin でこのクエリを実行するより高速な方法はありますか?
編集：クエリ（1）を23回実行しました：
==> 1124
==> 983
==> 951
==> 864
==> 1175
==> 1189
==> 889
==> 917
==> 822
==> 872
==> 795
==> 736
==> 840
==> 1189
==> 723
==> 756
==> 691
==> 44609
==> 644
==> 640
==> 1110
==> 1007
==> 819
Edit2:それ以来、次の構成でデータベースを再インポートしました:
dump_configuration=true
cache_type=gcr
neostore.nodestore.db.mapped_memory=100M
neostore.relationshipstore.db.mapped_memory=4G
neostore.propertystore.db.mapped_memory=200M
neostore.propertystore.db.strings.mapped_memory=1G
neostore.propertystore.db.arrays.mapped_memory=1G
neostore.propertystore.db.index.keys.mapped_memory=1G
neostore.propertystore.db.index.mapped_memory=1G
relationship_cache_array_fraction=8
node_cache_array_fraction=8
node_cache_size=3G
relationship_cache_size=6G
query(1) は実際には23849 ミリ秒かかります。キャッシュの問題のように見え始めています。
db ログの興味深いスニペット:
2012-07-06 10:51:49,149 DEBUG [neo4j.diagnostics]: System memory information:
2012-07-06 10:51:49,152 DEBUG [neo4j.diagnostics]: Total Physical memory: 26,37 GB
2012-07-06 10:51:49,152 DEBUG [neo4j.diagnostics]: Free Physical memory: 11,99 GB
2012-07-06 10:51:49,153 DEBUG [neo4j.diagnostics]: Committed virtual memory: 16,43 GB
2012-07-06 10:51:49,153 DEBUG [neo4j.diagnostics]: Total swap space: 27,00 GB
2012-07-06 10:51:49,153 DEBUG [neo4j.diagnostics]: Free swap space: 26,96 GB
2012-07-06 10:51:49,154 DEBUG [neo4j.diagnostics]: JVM memory information:
2012-07-06 10:51:49,154 DEBUG [neo4j.diagnostics]: Free memory: 1,84 GB
2012-07-06 10:51:49,154 DEBUG [neo4j.diagnostics]: Total memory: 1,87 GB
2012-07-06 10:51:49,154 DEBUG [neo4j.diagnostics]: Max memory: 13,33 GB
2012-07-06 10:51:49,588 DEBUG [neo4j.diagnostics]: Storage files:
2012-07-06 10:51:49,589 DEBUG [neo4j.diagnostics]: messages.log: 304,72 kB
2012-07-06 10:51:49,589 DEBUG [neo4j.diagnostics]: neostore.propertystore.db.index: 1,02 kB
2012-07-06 10:51:49,589 DEBUG [neo4j.diagnostics]: neostore.propertystore.db: 401,18 MB
2012-07-06 10:51:49,590 DEBUG [neo4j.diagnostics]: neostore.relationshipstore.db.id: 9,00 B
2012-07-06 10:51:49,590 DEBUG [neo4j.diagnostics]: index.db: 1,42 kB
2012-07-06 10:51:49,590 DEBUG [neo4j.diagnostics]: tm_tx_log.1: 0,00 B
2012-07-06 10:51:49,590 DEBUG [neo4j.diagnostics]: neostore.relationshiptypestore.db.names.id: 9,00 B
2012-07-06 10:51:49,591 DEBUG [neo4j.diagnostics]: neostore.propertystore.db.id: 9,00 B
2012-07-06 10:51:49,591 DEBUG [neo4j.diagnostics]: neostore.nodestore.db: 478,88 kB
2012-07-06 10:51:49,591 DEBUG [neo4j.diagnostics]: nioneo_logical.log.active: 4,00 B
2012-07-06 10:51:49,591 DEBUG [neo4j.diagnostics]: neostore.nodestore.db.id: 9,00 B
2012-07-06 10:51:49,591 DEBUG [neo4j.diagnostics]: neostore.propertystore.db.strings.id: 9,00 B
2012-07-06 10:51:49,592 DEBUG [neo4j.diagnostics]: neostore.id: 9,00 B
2012-07-06 10:51:49,592 DEBUG [neo4j.diagnostics]: neostore.propertystore.db.strings: 34,15 MB
2012-07-06 10:51:49,592 DEBUG [neo4j.diagnostics]: neostore.relationshiptypestore.db.id: 9,00 B
2012-07-06 10:53:01,486 INFO [neo4j]: GC Monitor: Application threads blocked for an additional 14826ms [total block time: 14.826s]
2012-07-06 10:54:24,019 INFO [neo4j]: GC Monitor: Application threads blocked for an additional 875ms [total block time: 15.701s]
2012-07-06 10:55:25,441 INFO [neo4j]: GC Monitor: Application threads blocked for an additional 559ms [total block time: 16.26s]
2012-07-06 11:00:16,962 INFO [neo4j]: GC Monitor: Application threads blocked for an additional 775ms [total block time: 17.035s]
JVM パラメータには以下が含まれます
-XX:+DisableExplicitGC
-Xms2000m,
-Xmx15360m
ガベージコレクタが実行に干渉しているようですが、それはなぜですか? JVM パラメータを使用して、サーバー インスタンスに最大量の ~15 GB のメモリを使用するように指示しています。
Edit4: query(1) を実行すると、ログに以下が追加されます。
2012-07-06 11:40:31,973 INFO [neo4j]: GC Monitor: Application threads blocked for an additional 23745ms [total block time: 23.745s]
2012-07-06 11:40:33,961 INFO [neo4j]: RelationshipCache array size: 17895751 purge count: 0 size is: 0b, 100.0% misses, NaN% collisions (0).
2012-07-06 11:40:33,966 INFO [neo4j]: NodeCache array size: 17895751 purge count: 0 size is: 0b, 100.0% misses, NaN% collisions (0).