問題タブ [lmdb]

Linux システムで lmdb バックエンドを使用して openldap-2.4.43 を構成しようとしています。これまでのところ成功していません。

slapd.conf:

追跡された slaptest (/opt/openldap/sbin/slaptest -f slapd.conf -F ./slapd.d/) 結果 (最後の部分):

/var/openldap/data/main は書き込み可能です。システムには root ユーザーが 1 人しかいません。

対象フォルダを変更してみたり、ulimit -c unlimited を設定したり、maxsize の値を変更したりしました。目立った結果はありません。

私は何が欠けていますか？openldap が、/var/openldap/data/main//data.mdb が既にあると想定し、独自に作成しないのはなぜですか?

インメモリ B ツリー (Google btree など) の一部の C++ 実装と LMDB (トランザクション、分離、共有アクセスなどの LMDB のすべての機能を考慮しない場合) のパフォーマンスの違い (読み取り/書き込み) はどうなるでしょうか。 .)?

lmdb データベースを削除したいと考えています。以下は、txn.drop(db_name) 行の 'typerror:invalid type' にヒットします。

なぜこれが起こっているのかについての手がかりはありますか？私は lmdb を初めて使用するので (ご想像のとおり)、優しくしてください。

カフェモデルを微調整するために、建築画像のデータセットを使用しています。このデータセットは、1 つのフォルダー内の画像と別のフォルダー内のセグメンテーション グラウンド トゥルースで構成され、各色がラベル (窓、壁、空など) を表す png 画像として保存されます。

これを lmdb 形式に変換する方法がわかりません。ほとんどのチュートリアルでは、ピクセル単位のラベル付けや、png 画像に色として保存されたラベルに焦点を当てていないためです。

どんなヒントも素晴らしいでしょう！

setRust LMDB ライブラリ( docs ) を呼び出す関数と、私が取り組んでいる例を作成しようとしています。

私は一生これを機能させることはできません。これが私の現在の試みです：

は次setのように定義されます。

これにより、次のエラーが吐き出されます。

も試しdb.set(id, note).unwrap();ましたが、今回は次のようになります。

私も次のようなものを試しました：

しかし、それもうまくいきません...理由は完全にはわかりません。タイプがidありませんか？note&strstr

何億もの小さなレコードのキー バリュー ストアとして BerkelyDB を使用するプロジェクトがあります。

それが使用される方法は、すべての値がデータベースに挿入され、すべて単一のスレッドからシーケンシャル アクセスとランダム アクセスの両方を使用して繰り返されることです。

BerkeleyDB を使用すると、「ディスク上に保存することを意図していない」インメモリ データベースを作成できます。データベースが BerkeleyDB キャッシュに収まるほど小さい場合、ディスクに書き込まれることはありません。キャッシュよりも大きい場合は、オーバーフローを保持するために一時ファイルが作成されます。このオプションを使用すると、アプリケーションがデータベースを閉じるときにギガバイト単位の不要なデータをディスクに書き込むことがなくなるため、処理速度が大幅に向上します。

SSD でも BerkeleyDB の書き込みパフォーマンスが低すぎることがわかったので、LMDBに切り替えたいと思います。ただし、ドキュメントに基づくと、非永続データベースを作成するオプションはないようです。

永続性や同時アクセスをまったく気にしない場合、LMDB から最高のパフォーマンスを得るには、どの構成/オプションの組み合わせを使用すればよいですか? つまり、一時的なバッキング ディスク ストレージを備えた「メモリ内データベース」のように機能させるには？

16 ビット データを受け入れるために、Caffe にいくつかの変更を加えようとしています。
通常の Caffe 8 ビット符号なしデータの代わりに、16 ビット符号なし、エンコードされていない 256x256 画像で満たされた lmdb データセットを作成することに成功し、DIGITS ユーティリティで作成できる通常の 8 ビット lmdb のように「文字列」として保存されましたimage_convert。関数を
変更し、この lmdb を 16 ビットの「文字列」データで作成するようにしました。ここで、この lmdb をカフェ (4 つのクラスのみ) で使用すると、ネットワークは実行されますが、収束しません。私のデータを正しく読み取っていないのではないかと強く疑っています。問題は、関数と内部データの内容を区別していないように見えることです。io.pyarray_to_datumdatum_to_arrayio.pyarray_to_blobprotoblobproto_to_array
どこで取り組むべきか、誰か私にヒントを教えてもらえますか?

編集：コードをいじって、lmdbを介さずにpngで直接作業したい場合は、新しいデータレイヤーまたは新しい画像データレイヤーを作成する必要があると思います。しかし、その C++ コードを変更しようとすることは、特に私にとって簡単な作業ではありません。コード内のデータ フローを簡単にたどることができません。新しいレイヤーはPythonで記述できることがわかりました。新しい入力データ層はうまく機能すると思いますか、それとも cnn のパフォーマンスを低下させると思いますか?