問題タブ [nvidia-digits]

Digits でニューラル ネットワーク モデルをトレーニングしたところ、正常に動作しているように見えました。
次に、トレーニング済みのモデル ファイルをエクスポートし、標準の Caffe Web デモを実行している別のシステムにコピーしました。これらのファイルをプラグインして Caffe で実行できるようにしたかったのですが、エラーが発生しました。

具体的には、モデルを bvlc_reference_caffenet.caffemodel にコピーし、deploy.prototxt を deploy.prototxt にコピーし、mean.binaryproto を ilsvrc_2012_mean.npy ファイルにコピーしました。ただし、実行しようとすると、エラー メッセージで示されるように、 mean.binaryproto ファイルの形式が気に入らないようです。

ここで何が間違っていますか？Caffe で使用する前に、Digits の mean.binaryproto ファイルを処理する必要がありますか?

これが問題かどうかはわかりませんが、何日も探していて、わからないようです!

数字を使用して個別に分類しようとする画像はすべて問題なく動作するようです。しかし、「たくさんの画像を分類」ボタンを使うと、前述のタイトルのせいでネットワークがクラ​​ッシュする/バグ/一体何なのかさえわからない。

私はカフェとDIGITSにまったく慣れていません. 画像の 5 次元とは何ですか?実際に 5D 画像がある場合、どうすればそれらを 4D に変換できますか?

DIGITS でモデルを構築しようとしています。CPU のみで学習を行っています。ただし、GPU を使用していないのに CUDA ドライバーのバージョン エラーが発生します。この問題は何でしょうか？以下に自分の solver.prototxt を添付しました。

画像を 2000 クラスのいずれかに分類する必要があります。

私は Nvidia DIGITS + caffe (GoogLeNet) を使用しており、クラスごとに 10,000 のサンプルを提供しています (なんと 2,000 万枚の画像、約 1Tb のデータです!)。しかし、データ準備 (「データベースの作成」) タスク自体は 102 日と見積もられており、その見積もりが正しい場合、実際のトレーニング時間はどのくらいになるかを考えるとゾッとします。

この課題に取り組む最善の方法は何ですか? データセットを 3 ～ 4 個のモデルに分割する必要がありますか? それらを別々に使用しますか？より小さなデータセットを使用すると精度が低下しますか? 他の何か？

初心者を助けてくれてありがとう。

バックグラウンド：

Digits フレームワーク内またはその外部で Caffe を使用できるように、 CaffeとDigitsの両方を使用したいと考えています。

ただし、特定のプロジェクトでは、Caffe が OpenCV 3 を使用し、Digits がデフォルトでインストールする OpenCV 2.4 を使用する必要はありません。このプロジェクトは Digits の外部で Caffe を使用しており、Digits フレームワークは一切使用していません。

Digits をインストールすると、私の OpenCV 3 インストールが OpenCV 2.4 で「上書き」され、元の Caffe インストール内で問題が発生しているようです。

わかりやすくするために、私が行った手順のリストを以下に示します。

Ubuntu 14.04 の新規インストールから:

1. Ubuntu インストール ガイドに従ってインストールされた Caffe 依存関係 (OpenCV を除く)
2. ソースから OpenCV 3 をインストール/usr/local
3. テスト済み OpenCV インストール
   • OpenCV 3固有のコードを含むデモは正常に機能しました
4. コンパイル済み Caffe、Makefile.configOpenCV 3 を使用するように設定
5. テスト済みの Caffe インストール
   • すべてのテストに合格し、デモは問題なく動作しました
6. インストールガイドに従ってインストールされた数字
   • Caffe と OpenCV 2.4 は、インストーラー スクリプトによってデフォルトでインストールされました。
   • OpenCV 2.4 によって破壊された OpenCV 3 (?)
7. Digits Getting Started ガイドの手順を実行した
   • すべての手順が成功しました
8. OpenCV の競合が疑われるため、Caffe デモをコンパイルしようとしました
   • OpenCV 3.0 と 2.4 の競合に関連するエラーが発生しました -- 詳細は以下をご覧ください。

コンパイル コマンド:

g++ classification.cpp -o classification -I/home/josh/software/caffe/include/ -L/home/josh/software/caffe/build/lib/ -lcaffe -I/usr/local/cuda/include -L/ usr/local/cuda/lib64 -lcuda -lcudart -lcublas -lcurand -I/home/josh/software/cudnn/include/ -L/home/josh/software/cudnn/lib64/ -lcudnn -L/usr/lib/ x86_64-linux-gnu/ -lglog -L/usr/local/lib -lboost_system -lopencv_core -lopencv_highgui -lopencv_imgproc -lopencv_imgcodecs -DUSE_OPENCV

エラーメッセージ：

/usr/bin/ld: 警告: /home/josh/software/caffe/build/lib//libcaffe.so で必要な libopencv_core.so.3.0 は、libopencv_core.so.2.4 /usr/bin/ld と競合する可能性があります: /tmp/ccHaWcOl.o: シンボル '_ZN2cv6String10deallocateEv' への未定義の参照 //usr/local/lib/libopencv_core.so.3.0: シンボルの追加エラー: DSO がコマンド ラインから見つかりません collect2: エラー: ld が 1 つの終了ステータスを返しました

質問:

1. Caffe/Digits のインストールを中断せずに OpenCV バージョンの競合を解決するにはどうすればよいですか?
2. OpenCV を削除して、Caffe と Digits を再インストールする必要がありますか?
   • その場合、Caffe (OpenCV 3 を使用) と Digits を並行して動作させながら、OpenCV のバージョンの競合を防ぐために、別の方法で何をする必要がありますか?

複数の事前トレーニング済みネットワークから 1 つのネットワークにワイトをロードする簡単な方法 (たとえば、カフェコードを変更せずに) はありますか? ネットワークには、両方の事前学習済みネットワークと同じ次元と名前を持つ層がいくつか含まれています。

NVidia DIGITS と Caffe を使用してこれを達成しようとしています。

編集：回答で確認されているように、DIGITSから直接行うことはできないと思いました。複数の事前学習済みネットワークを選択できるように DIGITS コードを変更する簡単な方法を提案できる人はいますか? コードを少し確認し、トレーニング スクリプトから始めるのがよいと思いましたが、私は Caffe についての深い知識がないため、これを達成するための最良/最速の方法が何であるかわかりません。 .

GPU（Nvidia GeForce GTX Titan X）とTensorflow 0.6を備えたNvidia Digits Boxを使用してニューラルネットワークをトレーニングしていますが、すべてが機能しています。しかし、Volatile GPU Utilusingを確認するnvidia-smi -l 1と、わずか 6% であり、Tensorflow を実行するプロセスの CPU 使用率が約 90% であることから、ほとんどの計算は CPU で行われていると思います。その結果、トレーニング プロセスが非常に遅くなります。トレーニング プロセスを高速化するために、CPU の代わりに GPU を最大限に活用する方法はあるのでしょうか。ありがとう！