問題タブ [lmdb]

2 つの 60 x 80921 行列があり、1 つはデータで埋められ、もう 1 つは参照で満たされています。
値をキーと値のペアとして 2 つの異なる LMDB に格納したいと考えています。1 つはトレーニング用 (たとえば、60000 列のマークの周りをスライスします) で、もう 1 つはテスト用です。これが私の考えです。それは機能しますか？

私は本当にコードがわかりません。そして、最後の行は何format(i)を指していますか?

データのトレーニング中に次のエラーを受け取りました。インターネットで提供されているすべての解決策を試しましたが、何もうまくいかないようです。lmdb ファイルのパスとサイズを確認しましたが、ゼロではありません。しかし、問題はまだ存在します。この問題を解決する方法がわかりません。

以下は私のファイル設定です：

ラベルがスカラーではなく、各ラベルが (1,K) ベクトルで、K がクラスの数である Python で lmdb データを作成したいと考えています。より具体的には、ラベル ベクトルには、1 の対応するクラス インデックスを除いて、どこでもゼロがあります。

Python で次のコードをテストしました。

しかし、上記のようにnumpy (1,k) ベクトルであるこのエラーTypeError: only length-1 arrays can be converted to Python scalarsが発生しました。y[i]

また、カフェがそのような形式のラベルを受け入れるかどうかも疑問に思っています。

どんな助けでも大歓迎です

ここで定義されている Lenet をトレーニングしようとしています。 Solving in Python with LeNet を使用して、kaggle で数字認識データ セットをトレーニングします。ここで提供されているチュートリアルを最初に使用します。 lmdb を作成して、データを lmdb 形式に転送します。次に、リンク 1 (LeNet を使用した Python での解決) の指示に従って、トレーニング、テスト、およびソルバーの prototxt を作成します。しかし、solver.prototxt からソルバーを抽出すると、画像データの各要素がゼロであることがわかりました。私のコードに何か問題がありますか?

test/ ディレクトリに data.mdb と lock.mdb ファイルがあります。python lmdb パッケージを使用して、lmdb データベースからデータを読み書きしようとしていました。私は試した

しかし、次のエラーが発生しました：

それから私は試しました

ソースからコンパイルされた個別にインストールされた lmdb ライブラリを使用すると、次のエラーが発生しました。

ただし、pythonでも試しました

これは機能し、データベースからデータを正常に読み取ることができます。

「lmdb no locks available error」についてGoogleで非常に一生懸命検索しましたが、何も得られませんでした。このエラーがどこから来たのか、誰にも分かりますか?

ありがとう！

私はカフェフレームワークが初めてで、カフェを使用してマルチラベルでトレーニングを実装したいと考えています。2 つの LMDB を使用して、それぞれデータとラベルを保存します。データ LMDB の次元は Nx1xHxW であり、ラベル LMDB の次元は Nx1x1x3 です。ラベルは float データです。

テキストファイルは次のとおりです。

C++ を使用して LMDB を作成します。私のmain.cpp：

2 つの LMDB を正常に作成できます。しかし、caffe を使用して 2 つの LMDB でトレーニングを実装すると、結果は常に間違っています。損失レイヤーは EUCLIDEAN_LOSS であり、損失は下降できません。2つのLMDBを作成できるコードが間違っているかどうかはわかりません。誰が私を助けることができます ？ありがとうございます。

約 800K の画像を含む大きな lmdb があります。エントリを1つずつ読みたいだけです。私のコードは非常に単純で、次のようになります。

しかし、約 70000 のエントリを読み取った後、メモリ (~10GB) が不足します。理由がわかりません。以下のようにしようとしましたが、うまくいきませんでした。

なにか提案を？

単一のスレッドからのみ LMDB を使用していて、データベースの永続性をまったく気にしない場合、トランザクションを開いたり閉じたりする理由はありますか?

単一のトランザクション内ですべての操作を実行すると、パフォーマンスの問題が発生しますか? あまりにも多くのトランザクションを開いたり閉じたりすると、パフォーマンスが低下しますか?

LMDB データベースが使用可能な RAM よりも大きくなると、劇的に速度が低下していることに気付きましたが、SSD も CPU も限界に近づいています。

入力用に lmdb データベースを作成し、ラベル用にもう 1 つ作成しました。

入力の形状は (3,3,1226) で、ラベルは (1,1,1226) で、(C,H,W) です。

次のコードが実行されると:

次のエラー メッセージが表示されました。

私の列車のprotobufは次のとおりです。

このエラーが発生する原因がわかりません。3 行の入力と 1 行のみのラベルはありませんか?

ありがとうございました！