問題タブ [lmdb]

ピクセルごとのセグメンテーションを行うようにカフェを構成する際に問題がありました。ただし、調査の結果、ラベル用に別のImdbデータベースを作成できることがわかりました。prototxt私はそれを行いましたが、トレーニングファイルでデータ データベースとラベル データベースをリンクする方法がわかりません。どんな例でも大歓迎です。

インメモリ btree を使用したいと思います。LMDBとSTXを検討しています。それらの違いを理解するのに役立ちます。同時実行性のコンテキストでの他のものの中でも (STX がそれをサポートしているかどうかはわかりません)

私はカフェの使用に比較的慣れておらず、（後で）微調整できる最小限の実用的な例を作成しようとしています。MNIST データで caffe の例を使用するのに何の問題もありませんでした。image-net データ (ILSVRC12) をダウンロードし、caffe のツールを使用して、次を使用して lmdb データベースに変換しました。

エンコードされた (jpeg) 画像データを含む lmdb を作成します。これは、エンコードされた lmdb が約 64GB であるのに対し、エンコードされていない lmdb は約 240GB であるためです。

ネットを記述する私の .prototxt ファイルは最小限です (主に MNIST の例から借りた 1 組の内積レイヤーです。ここでは正確さを求めるのではなく、何かを機能させたいだけです)。

train-lmdb がエンコードされていない場合、この .prototxt ファイルは正常に機能します (精度は最悪ですが、caffe はクラッシュしません)。ただし、train-lmdb がエンコードされている場合、次のエラーが発生します。

質問: train-lmdb がエンコードされた画像であることを示す、.prototxt ファイルに設定する必要がある「フラグ」はありますか? (テスト データ レイヤー test-lmdb には、同じフラグを指定する必要がある可能性があります。)

ちょっとした調査:

グーグルをいじってみると、有望と思われる解決済みの問題が見つかりました。ただし、'force_encoded_color'を true に設定しても問題は解決しませんでした。

また、この回答は lmdb の作成 (具体的には、エンコードを有効にするための指示) に非常に役立ちましたが、画像がエンコードされていることを caffe が認識できるようにするために何をすべきかについては言及されていませんでした。

トレーニング セットとテスト セットの 2 セットのイメージ パッチ データがあります。これらは両方とも LMDB ファイルに書き込まれています。Caffe を使用して、このデータに対して畳み込みニューラル ネットワークを実行しています。

問題は、ハードディスクに保存されたデータがかなりの量のスペースを占めており、モデルをより堅牢にするために意図的にノイズを追加してより多くのトレーニング データを導入する私の努力を妨げていることです。

画像パッチを LMDB に保存せずに、プログラムから CNN (Caffe 内) に直接送信する方法はありますか? 現在、Python を使用して、トレーニング データ セットの画像からパッチを生成しています。

モデルが画像データセットで実行されたときに計算される初期損失は、カフェを実行するたびに一定のままです。モデルを毎回実行すると、初期損失が (少なくともわずかに) 異なるはずなので、動作は奇妙ではありませんか。

また、損失レイヤーで SoftmaxWithLoss 関数を指定すると、損失値はその後の反復でも一定のままです。また、デコンボリューション レイヤーで lr_mult=0 を指定すると、反復間で損失が一定に見えます。lr_mult=1 を指定すると、損失値が変化しますが、最終的には数千回の反復後に最初の損失値になります。

この点で何かアイデアはありますか？

この点に関して、どんな助けでも大歓迎です。

以下は私のソルバーファイルです：

以下は、私の畳み込みニューラル ネットワークのアーキテクチャです。

pylearn2を使用して作成された numpy 配列を でleveldb/lmdb使用できるように変換しようとしていCaffeます。これは、データセットの作成に使用し
たスクリプトです。このスクリプトを実行した後、いくつかのファイルが生成されます。その中にはtest.pkl、、、、、test.npyにtrain.pkl変換train.npy
する直接的な方法があるかどうかはわかりleveldb/lmdbません。そのため、方法がないと仮定して、各画像とそれに対応するものを読み取ることができる必要があります。ラベルを付けて、データベースに保存できるようにしleveldb/lmdbます。pickle ファイルは辞書のような構造を提供するため、読み取りには pickle ファイルを使用する必要があると言われました。しかし、やろうとしている

ピクル
<pylearn2.datasets.cifar10.CIFAR10 at 0xde605f8> ファイル内のアイテムにアクセスする正しい方法が何であるか、またはnumpy配列から直接読み取る必要があるかどうかはわかりません。

私は lmdb (BDB バックグラウンドから来ています) で遊んでいますが、lmdb が「recno」スタイルの操作をサポートしているかどうか疑問に思っています。"recno" (レコード番号) は、20 番目のレコードが削除され、新しいレコードが 20 番目のレコードになるか、または 7 の後にレコードが挿入され、以前は 8 - n として知られていた次のレコードが 9 - になる論理的なインデックス方法です。 n+1。

アイデア？

env の一部である名前付きデータベースのリストを取得するにはどうすればよいですか? いくつかの python binding docs (named database implementation)を読んで、名前がメインの (名前のない?) データベースに格納されていることを理解しましたが、カーソルでブラウジングするとそれらが表示されません。

lmdb (Lightning Memory-Mapped Database) のドキュメントには、返されたデータの有効性に関して次のことが記載されています。

データベースから返される値は、後続の更新操作またはトランザクションの終了までのみ有効です。それらを変更したり解放したりしないでください。通常、これらはデータベース自体を指しています。

この場合、「更新操作」が何を指すのか少し混乱しています。「更新操作」とは、データベースに対する更新操作 (たとえば、別のスレッドから別の値を変更するなど) を意味するのか、それとも特定のデータベースに対する更新操作のみを意味するのでしょうか。価値？

300 MB に近い巨大な LMDB ファイルを生成していますが、Golang では数時間かかります。数分以内に生成する方法はありますか? 私は他の言語を使用することにオープンです。