ノードと関係をバッチ作成しようとしています - バッチ作成が失敗しています - 投稿の最後にトレースバック
ノードのサブセットが小さいコード関数に注意してください - 大量のリレーションシップに入ると失敗します。これが発生している限界が不明です。
- ulimit を 40,000 オープン ファイルを超えて増やす必要があるかどうか疑問に思っています
- バッチ作成の実行中に REST API で Xstream の問題が発生した場所を読んでください - 問題セットがスペクトルの py2neo エンドにあるのか、Neo4j サーバーのチューニング/構成にあるのか、またはスペクトルの Python エンドにあるのかは不明です。ガイダンスをいただければ幸いです。
データ セット内の 1 つのクラスターは、700 以上のノードのうち約 625525 の関係になります。関係の合計は 100 万以上になります - x86_64 を搭載した Apple Macbook Pro Retina を利用 - Ubuntu 13.04、SSD、8GB メモリ。
- Neo4j: auto_indexing と auto_relationships を ON に設定
- Python Panadas DataFrame.groupby() を介してクラスター化/グループ化されたノード
- ノード: 3 つのプロパティを含む
- リレーションシップ プロパティ: 1 -> IN & Out リレーションシップが作成されました
- ulimit を 40,000 ファイルに設定して開く
コード
https://github.com/alienone/OSINT/blob/master/MANDIANTAPT/spitball.py
- オペレーティング システム: Ubuntu 13.04
- Python バージョン: 2.7.5
- py2neo バージョン: 1.5.1
- Java バージョン: 1.7.0_25-b15
- Neo4j バージョン: コミュニティ版 1.9.2
トレースバック
トレースバック (最後の最後の呼び出し): ファイル "/home/alienone/Programming/Python/OSINT/MANDIANTAPT/spitball.py"、63 行目、main() ファイル "/home/alienone/Programming/Python/OSINT/MANDIANTAPT/ spitball.py"、59 行目、メインの graph_db.create(*sorted_nodes) ファイル "/home/alienone/.pythonbrew/pythons/Python-2.7.5/lib/python2.7/site-packages/py2neo/neo4j.py "、420 行目、create return batch.submit() ファイル内"/home/alienone/.pythonbrew/pythons/Python-2.7.5/lib/python2.7/site-packages/py2neo/neo4j.py"、2123 行目、self._submit()ファイル「/home/alienone/.pythonbrew/pythons/Python-2.7.5/lib/python2.7/site-packages/py2neo/neo4j.py」の2092行目の応答の送信身分証明書を提出する、 enumerate(self.requests) ファイル内のリクエスト "/home/alienone/.pythonbrew/pythons/Python-2.7.5/lib/python2.7/site-packages/py2neo/rest.py"、428 行目、_send 内で return self._client().send(request) ファイル "/home/alienone/.pythonbrew/pythons/Python-2.7.5/lib/python2.7/site-packages/py2neo/rest.py"、365 行目、送信中return Response(request.graph_db, rs.status, request.uri, rs.getheader("Location", None), rs_body) ファイル "/home/alienone/.pythonbrew/pythons/Python-2.7.5/lib/python2. 7/site-packages/py2neo/rest.py」、279行目、init raise SystemError(body) SystemError: None
プロセスは終了コード 1 で終了しました