問題タブ [lmdb]

Linux環境で.mdbファイルをロードし、それらをnumpyやhdf5のようなPythonフレンドリーなデータ構造に変換できるPythonのAPIはありますか?

関数を学習するためにニューラルネットをトレーニングしようとしていますy = x1 + x2 + x3。目的は、Caffe をよりよく学び、理解するために Caffe をいじることです。必要なデータは Python で合成的に生成され、lmdb データベース ファイルとしてメモリに書き込まれます。

データ生成のコード:

Solver.prototext ファイル:

カフェ モデル:

取得しているテスト データの損失は です233,655。損失は​​トレーニング データ セットとテスト データ セットの数値よりも 3 桁大きいため、これは衝撃的です。また、学習する関数は単純な線形関数です。コードのどこが間違っているのかわかりません。提案/入力は大歓迎です。

深層学習フレームワーク Caffe で関数 y = x^2 を学習するようにニューラル ネットワークをトレーニングしようとしていました。これが私のコードです：

データ生成コード:

ソルバー ファイル:

カフェ モデル:

信じられない 10^8 のオーダーのエラーが発生します。ネットは、単一の入力を取り、単一の出力を生成することになっています。入力は [0,255] の範囲の整数で、出力はそれぞれの入力の 2 乗であると想定されます。このような大きなエラーが発生する理由は何ですか?

Caffeでトレーニング用のデータセットを作成する HDF5 と LMDB の両方を使用してみました。ただし、LMDB の作成は非常に遅く、HDF5 よりもさらに遅くなります。〜20,000枚の画像を書き込もうとしています。

私は何かひどく間違ったことをしていますか？私が気づいていないことはありますか？

これは、LMDB を作成するための私のコードです。

ご覧のとおり、画像ごとにトランザクションを作成するとオーバーヘッドが生じると考えたため、画像 1,000 枚ごとにトランザクションを作成していますが、これはパフォーマンスにあまり影響を与えないようです。