問題タブ [berkeley-db-je]

私は BerkeleyDB の Java 版、DPL を使用しています。

データを BerkeleyDB に解析している間、一時的な情報を特定の PrimaryIndex に保存します。この PrimaryIndex は多くのスペースを必要とするため、そこに保存されているすべてのデータを削除し、HD で使用されているスペースを解放したいと考えています。

これを行う最も簡単な方法は何ですか?

ありがとう。

SortedMapのドキュメントでは、どういうわけか重複を許可できると述べています。しかし、私はどのように理解することはできません。誰かがこれの例を教えてもらえますか? どうも

BerkeleyDBで手動で操作できるシーケンスを作成したいのですが、その方法がわかりません。SQLシーケンスオブジェクトに似たものが欲しいのですが。APIドキュメントでクラスを見つけましたが、作成方法が不明です。

どんな助けでも大歓迎です！

Berkeley DB と H2 DB の読み取りと書き込みのパフォーマンスを比較しています。この比較を行う正しい方法は何でしょうか? 現在、私のテストコードは、10000回のプットと10000回の取得、およびH2 dbの10000回の挿入と10000回の選択にかかる時間をチェックします。挿入されるデータサイズはほぼ同じですが、時間差が大きすぎます。

Berkeley DB Java Edition の特定のインスタンスで、既存のすべてのデータベース環境 ( com.sleepycat.je.Environment ) を一覧表示しようとしています。これに関する API またはドキュメントが見つかりません。

すべての環境を含むサブディレクトリをスキャンするのは少し見苦しく思えます。誰かがそれを正しく行う方法を知っていますか?

構築中の Web クローラーの情報を保存するために Berkeley DB を使用しています。ただし、セッション間でデータベース情報が保存されていません!

アプリケーションを起動すると、すべての DB で count() が 0 を返します。セッションの最後に、終了する前に、各 DB の count() を出力し、適切に変更されましたが、プログラムを実行すると「リセット」されます。また…どうしてこうなった？

また、私は単一のユーザーであり、マルチスレッド環境でプログラムを実行しないため、トランザクションを使用しないことを選択しています。

Maven Central（または他のリポジトリ）のBerkeley DB JE 5.0.xの座標は何ですか？

私は Java で Web クローラーを作成し、クロールするページを保存するために Berkeley DB を使用しています (後でインデックスを作成するためなど)。各ページを Webpage オブジェクトとして保存しています。これには次のインスタンス フィールドがあります。

最大のフィールドは文字列 docString で、これは HTML コンテンツ全体 (通常、巨大なページでも 500KB 以下) であり、stringLinks はページ上のアウトバウンド リンクごとに文字列を保持します。これは大きすぎてはいけません。せいぜい長さが 70 の 100 文字列です (数 KB でさえありません)。

私は 1 秒あたり 1 ページよりも少し速くクロールし、1 秒あたり 2 ページになることもあります。また、バークレー データベースが 1 ページあたり約 2 ～ 3 MB に成長しているのを見ています。データベースは Web ページを EntityStore に保存し、定期的に同期します。何を変えてもディスク使用率が下がらない！

これはかなり大きな問題です。クローラーの複数のインスタンスを実行すると (分散するようにビルドしました)、それぞれが大量のディスク領域をすばやく使用するからです。これが直線的に増加している場合は問題ないかもしれませんが、この空間がどの関数によって膨張しているのかを知る方法はありません。私が知っているのは、実際のデータのスペースの何倍もあるということだけです。

EntityStore について欠けているものはありますか?

注意すべきことの1つは、DBからの読み取りと書き込みの両方を行っているため、フラグを設定して書き込み専用にすることはできません。また、これはヒープ スペースの影響を受けやすい環境であるため、キャッシュ サイズをあまり大きくしたくないと考えています。

キー/値形式のテーブルで Oracle Berkeley DB Java Edition を使用しています。重複したキーを挿入しようとしていますが、SecondaryIntegrityException が引き続き発生します。Oracle によると、setSortedDuplicates() が true に設定されている場合、重複が許可されます。私の場合、これは機能しません。以下は、key=bob、value=smith のコードです。最初に実行すると、期待どおりに実行されます。value=johnson のみを変更してもう一度実行すると、SecondaryIntegrityException が発生します。私が間違っていることはありますか？ありがとう。

私はここで与えられた例を使用しており、[ここ]（http://code.google.com/p/crawler4j/downloads/list）から必要なファイル（crawler4j-3.3.zip &crawler4j-3.x-dependencies.zip）を含めています私のビルドパスと実行パス。

このエラーが発生しています：

Exception in thread "main" java.lang.NoSuchMethodError: com.sleepycat.je.EnvironmentConfig.setAllowCreate(Z)Lcom/sleepycat/je/EnvironmentConfig; at edu.uci.ics.crawler4j.crawler.CrawlController.<init>(CrawlController.java:90) at edu.uci.ics.crawler4j.examples.basic.BasicCrawlController.main(BasicCrawlController.java:100) log4j:WARN No appenders could be found for logger (org.apache.http.impl.conn.tsccm.ThreadSafeClientConnManager). log4j:WARN Please initialize the log4j system properly. .

このファイルには必要な機能があるため、エラーの理由を理解できません。行番号 75 を参照してください。

私を助けてください 。Java の専門知識はあまりありません。この問題はこれに関連していますか。はいの場合、それを修正する方法。