問題タブ [berkeley-db-je]

BerkleyDB JE でカーソルを使用すると、データセットをトラバースするとランダムな読み取り IO が大量に発生することがわかりました。これは、BDB が主キーの昇順でデータセットをトラバースするために発生します。

私のアプリケーションでは、データセットを順番に処理する必要はなく (数学的に言えば、私の操作は交換可能です)、スループットを最大化することに関心があります。

主キーの順序ではなく、ストアの順序でカーソルを使用してデータセットを処理する方法はありますか。

アプリケーションの 1 つで、DbDumpデータベースのバックアップに BDB JE を使用しています。ある日、興味深いことが起こりました。DbDumpを投げ始めますOutOfMemoryError。事後分析では、内部 BDB ノードによって大量のメモリが使用されていることが示されています ( IN)。BerkleyDB は、バックアップ中にメモリ内のすべてのデータセットを読み取るように見えますが、これは私にとって非常に奇妙です。

もう 1 つの奇妙な事実は、この動作は、環境がアプリケーション自体によって開かれている場合にのみ表示されるということです。したがって、DbDumb が環境を開く唯一のクライアントである場合、すべてが問題ないように見えます。

私は2つのパッケージを使用しています1）BASE APIを使用したBerkeley db Java Edition 2）DPL（Direct Persistence Layer）を使用したBerkeley DB Java Edition

パフォーマンスが問題である場合、どちらがより良い方法ですか

私は berkeley db Java エディションを使用しています。キャッシュ サイズを増やす方法

たとえば、次の文字列をキーとして使用するデータベース レコードがあるとします。

Al のキーを指定すると、カーソルが最初のキー (Alabama) に移動し、

今、「Al」で検索キーを提供した場合、返される結果は UNFOUNDED になるはずだと思います。キーが完全に一致するようにするにはどうすればよいですか。

データベース /home/panayk/Desktop/panag_3/panag_3.tld があります。

BerkeleyDB はそれを開くことを拒否します。

これが私の輸入品です：

そして、ここに私のコードがあります:

これはログです：

そして、ここに例外があります：

どうしたの？ファイルは明らかに存在します。

TupleSerialBinding を使用して、Java でこの構造を berkeley DB に格納します。

キーは、EntryBinding を作成するためにクラスを使用して作成される最小値です。SamplesValues に基づいて EntityBinding を作成した後

TupleSerialBinding を使用して「値の配列」を格納する方法が見つかりませんでした。

min と max の値は保存されますが、values 配列は保存されません。

berkeley db のいくつかのストアを閉じる際に、開いたカーソルの例外が発生します。

このエラーは「on myStore.close()」で発生します。

しかし、手動でカーソルを開きませんでした。

私はこのエラーを探しましたが、私がしなければならなかった特別なことは何も見つかりませんでした (カーソルを手動で開いていなかったため)。

だから、データベースを開くときに何か間違ったことをしたと思います。開店にあたって私がすること：

繰り返しますが、カーソルを手動で開いていません。

BDB JE に約 5 億 200 万行を挿入するマシンがあります。キーと値の例は次のとおりです。

すべてのキーと値はほぼ同じ長さです。JVM は、次のパラメーターで開始されます。

それでも、約 50,000,000 行に達すると、JVM は「強制終了」されます (「強制終了」というメッセージが表示されますが、どのように/誰によって強制終了されたのかわかりません)。ガベージコレクションを実行しようとすると、十分なメモリなどを解放できないと思います。しかし、その量の -Xmx があれば、問題はないと思います。

deferredWrites を使用しており、ログ ファイルのサイズは 100MB に設定されています。DPL から Base API に切り替えても違いはありませんでした。

JDK 6.0 と SUSE x86_64 を 12GB の RAM で使用しています。残りの RAM を必要とする他のプロセスがあるため、この挿入タスクに実際に 9GB 以上を割り当てることはできません。

JVM:

この問題を解決するためのヒントをいただければ幸いです。

これは私の前の質問と関連していますここをクリックしてください。リレーショナルDBに処理および保存される前の一時ストレージにberkeleyDBを使用しています。サイズが特定のポイントを超えると問題が発生します。次に、ファイルを小さいファイルに分割するか、既存のファイルを圧縮する必要があります。質問圧縮部分に質問したいのですが、berkeley DBに圧縮ユーティリティが組み込まれているのか、それともプログラムで実行する必要があるのか​​を尋ねます。組み込みの場合は、常に高速になります。