問題タブ [deep-learning]

マンモグラムの特徴抽出のために、積み重ねられたノイズ除去オートエンコーダーを matlab に実装する必要があります。現在、ディープ ラーニング ツールボックスによって既に提供されているコードをテストしていますが、いくつかのエラーが発生しており、それらを修正する方法がわかりません。ツールボックスの使用方法に関するチュートリアルをご存知ですか? 私はネットで検索しましたが、役立つものは何も見つかりませんでした。誰かが解決策を持っている場合に備えて、私が得ているエラーは次のとおりです。

どうもありがとう！:)

ニューラルネットワークを使用してマルチクラス分類を行っています。10 個のターゲット クラスと 1 個の null (上記以外のターゲット) があるとします。上記の場合に 10 個の個別のニューラル ネットワークまたは 11 個の出力を持つニューラル ネットワーク (10 個のターゲット、他 1 人)? さまざまな論文で 2 つのアプローチのいずれかを使用している人々を見てきましたが、説明はありませんでしたが、ターゲット クラスごとに個別のネットワークを使用することに理論的な優位性はありますか? 計算上のオーバーヘッド コストは、代替アプローチに関する利益と利益に見合う価値がありますか?

前もって感謝します！

PS（1）もちろん、どちらのアプローチでも、トレーニング例の分布は非ターゲット（「その他」）クラスに大きく偏っており、（2）NNの出力層にはソフトマックスアクティベーションがあると想定されています。

私は現在、機械学習アルゴリズムのパフォーマンスを向上させるために、GPU を使用したプログラミングを学習しています。最初に、純粋な c で cuda のプログラミングを学ぼうとしましたが、pycuda を見つけました。これは、cuda ライブラリのラッパーであり、theano と pylearn2 を見つけて少し混乱しました。

私はそれらを次のように理解しています。

1. pycuda: cuda ライブラリの python ラッパー
2. theano: numpy に似ていますが、GPU と CPU に対して透過的です
3. pylearn2: theano 上に構築され、いくつかの機械学習/深層学習モデルを実装した深層学習パッケージ

私は GPU プログラミングに慣れていないので、C/C++ 実装から学習を開始する必要がありますか、それとも pycuda から開始するか、theano から開始しても十分ですか? たとえば、GPU プログラミングを学習した後、randomForest モデルを実装したいと考えています。よろしくお願いします。

Imagenet2011 データセットをダウンロードし、こちらの手順に従ってCaffe imagenet ネットワークのトレーニングを試みました。トレーニングには約 50 万枚の画像を使用し、検証には 7 万枚の画像を使用しました。

実験用に ILSVRC 2012 検証セットもダウンロードしました。

結果は次のとおりです。

ILSVRC 2012 公式検証セット: 私のネットワーク: 46% の精度、元の Caffe Imagenet ネットワーク: 56% の精度。

私の検証セット:私のネットワーク: 53% の精度、元の Caffe Imagenet ネットワーク: 80% の精度。

MY トレーニング データ (オーバーフィッティングのチェック):私のネットワーク: 99% の精度、元の Caffe Imagenet ネットワーク: 70% の精度。

トレーニングに関するヘルプとヒントをいくつかお願いしたいと思います。

1. 新しいネットワークが過剰適合しているように感じます。同意しますか？より多くの画像を使用する必要がありますか? データ拡張を使用して、トレーニング セットのサイズを機械的に増やしますか? それともドロップアウトパラメータを変更しますか?

2. Krizhevsky らによる論文「深層畳み込みニューラル ネットワークによる Imagenet 分類」。1 著者はトレーニングに 120 万枚の画像を使用し、トレーニング データのサイズを 2048 倍に増加させるデータ拡張2を使用したと書かれています。ただし、データ拡張 (ランダム フリップを除く) は、イメージネットのトレーニング。データ拡張は本当に必要ないのですか?

3. ImageNet データセットの約 100 クラスにのみ関心があります。合計 100K の画像を持つ 100 クラスのみで imagenet ネットワークを (ゼロから) トレーニングするとします。元の 1.2M 画像よりもはるかに少ないですが、クラスもはるかに少なくなっています。ネットワークはオーバーフィットするでしょうか、それとも 100 のカテゴリで優れたパフォーマンスを発揮するでしょうか? それとも、100 クラスだけに別のネット アーキテクチャを使用する必要がありますか? Imagenet ネットワークをトレーニングしてから、それらの 100 クラスを使用して微調整のみを行う方がよいでしょうか?

4. 元の 1K カテゴリの場合、(1.2M ではなく) 500K の画像しかありません。より多くの画像を含むカテゴリを使用する必要がありますか? より多くのカテゴリ (および画像) を使用するのはどうですか?

前もって感謝します！

ギル

1 Krizhevsky、Alex、Ilya Sutskever、および Geoffrey E. Hinton。「深い畳み込みニューラル ネットワークによる Imagenet 分類」神経情報処理システムの進歩。2012年。</p>

2「データ拡張の最初の形式は、画像の平行移動と水平方向の反射を生成することです。これを行うには、256x256 の画像からランダムな 224 x 224 パッチ (およびそれらの水平方向の反射) を抽出し、これらの抽出されたパッチでネットワークをトレーニングします4。これにより、サイズが大きくなります。結果として得られるトレーニングの例は、もちろん相互依存性が高いですが、2048 倍の係数で設定されたトレーニング セットです。」

私は深層学習が初めてで、matlab の深層学習ツールボックスを使用していました。私は実行したかった: "test_example_SAE.m" スタックされた自動エンコーダーを構築し、MNIST データセットを使用してトレーニングおよびテストしますが、このエラーのために実行できませんでした: *

* このジョブが必要とするメモリ量は? つまり、4GB RAM を搭載した平均的な PC でディープ ラーニング ツールボックス コードを実行できますか? または、GPU でコードを実行する方法を学ぶ必要がありますか?