データは 300 ~ 500 TPS のレートで継続的にシステムに送信されます。次のスキームでneo4jにインポートする必要があります。
- N ノードが存在しない場合は、作成します
- 関係 N-[rel:rel_type]->X が存在しない場合は、作成します
- 増加相対重量
RESTバッチを使用して問題を解決することは不可能のようです。さまざまなサイファー クエリは、多くの小さなトランザクションを生成するため、長すぎます。
Gremlin ははるかに高速に動作します。gremlinスクリプトのパラメータを配列に集めてバッチで実行します。しかし、300TPSの速度にはほとんど到達できませんでしたが.
それに加えて、クエリのフローが最大 500 TPS になることに言及する必要があります。
START N=node(...) MATCH N-[rel:rel_type]->X return rel.weight,X.name;
ヒープ サイズは 5 Gb に設定されています。追加オプション:
-XX:MaxPermSize=1G -XX:+CMSClassUnloadingEnabled -XX:+UseParallelGC -XX:+UseNUMA
この種のデータをインポートするための最適な方法と構成は何ですか?