4

これは、私が大きな MongoDB テーブルを読み取る方法です (すべてのオブジェクトには、その属性に非常に大きなデータのチャンクがあります)。

DBCursor cursor = collection.find(/* my query */);
while (cursor.hasNext()) {
  DBObject object = cursor.next();
  doSomething(object); // no data stays in memory
}
cursor.close();

私は得ています：

java.lang.OutOfMemoryError: Java heap space
at java.lang.StringCoding$StringDecoder.decode(Unknown Source)
at java.lang.StringCoding.decode(Unknown Source)
at java.lang.String.<init>(Unknown Source)
at org.bson.BasicBSONDecoder$BSONInput.readUTF8String(BasicBSONDecoder.java:463)
at org.bson.BasicBSONDecoder.decodeElement(BasicBSONDecoder.java:155)
at org.bson.BasicBSONDecoder._decode(BasicBSONDecoder.java:79)
at org.bson.BasicBSONDecoder.decode(BasicBSONDecoder.java:57)
at com.mongodb.DefaultDBDecoder.decode(DefaultDBDecoder.java:56)
at com.mongodb.Response.<init>(Response.java:83)
at com.mongodb.DBPort.go(DBPort.java:124)
at com.mongodb.DBPort.call(DBPort.java:74)
at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:286)
at com.mongodb.DBTCPConnector.call(DBTCPConnector.java:257)
at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:310)
at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
at com.mongodb.DBCursor._check(DBCursor.java:368)
at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
at com.mongodb.DBCursor.hasNext(DBCursor.java:484)

200 ～ 300 個のオブジェクトが処理された後、例外がスローされます。ドライバはデータをメモリに保持しますか? 私は使用しています 

<dependency>
  <groupId>org.mongodb</groupId>
  <artifactId>mongo-java-driver</artifactId>
  <version>2.10.1</version>
</dependency>
4

1 に答える 1

2

ドライバーがメモリに保持するオブジェクトの数は、カーソルのバッチ サイズによって異なります。明示的に設定しないと、デフォルトのバッチ サイズがどのくらいになるかわかりません。ドキュメントの最大サイズと使用可能なヒープ領域の量に応じて、それに応じてバッチ サイズを設定する必要があります。現在 MongoDB でサポートされているドキュメントの最大サイズは 16MB であることに注意してください。

詳細については、MongoDB Java ドライバー API ドキュメントのDBCursor.batchSize()を参照してください。

于 2013-09-10T18:56:34.750 に答える