ImageNet Classification with Deep Convolutional Neural Networks などの論文
http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf
トレーニング方法は、確率的勾配降下法を使用した基本的なバックプロパゲーションのようです。
CNN はディープ ニューラル ネットワークの一部ですが、これは純粋に多数の隠れ層が存在するためでしょうか? これは、真のディープ ラーニング技術である貪欲なレイヤーごとのトレーニングを使用する DBN などと同じパターンに従っていないにもかかわらず、ネットワークが深いため、ここでのバックプロップがディープ ラーニングのカテゴリに分類されることを意味するのでしょうか?
助けとアドバイスをありがとう。
ウィキペディアのディープ ラーニングのページを読むと、次のように書かれています。複数の非線形変換の」。
CNN には非線形変換の複数のレイヤーがあるため、深層学習モデルとしての資格があります。
また、MIT のこの本http://www.deeplearningbook.org/ CNN もディープ ラーニング モデルの一部です。
DBN と CNN の間には重要な違いがあります。最初は教師なしモデルであり、もう 1 つは教師なしモデルであり、一方は事前初期化に DBN を使用します。
深層学習モデルでもある RNN または LSTM について読むと、どちらも基本的に時間による逆伝播と呼ばれる逆伝播の修正バージョンでトレーニングされていることがわかります。
したがって、データの高レベルの抽象化をモデル化するための複数の非線形変換の概念を思い出してください。
また、ディープラーニングはトレーニングではなくモデルを指します。
私の知識によると
1 ニューロンと 1 層 -> パーセプトロンとして知られる
2 個以上のニューロン、1 層、1 入力 --> 直線 y = w*x + w0 の方程式として
2 つ以上のニューロン、1 つの層、複数の入力インスタンス --> 超平面
これらのニューロン活性化の出力にシグモイド機能を追加し、これらを別のパーセプトロンまたは複数のニューロンに結合すると、超平面の非線形結合が得られます。
CNN が単純なディープ ニューラル ネットワークではなく CNN と呼ばれるようになった理由は、画像の任意の部分に存在する可能性があるローカル近傍の重みを学習することです。そのため、ニューロンの活性化の間に重みを共有するプロセスがあります。
ですから、あなたの質問を見ると、
レイヤーが 1 つしかなく、その 1 つのレイヤーの後に分類/回帰が行われた場合、DBN とは呼ばれません。しかし、「畳み込み」と「ニューラル ネットワーク」の概念があるため、CNN と呼ぶこともできます。そしてもちろん、単一のレイヤーでは「逆伝播」はありません。
複数のレイヤーが存在する場合、バックプロパゲーションが必要です。概念は、中間層で確認できる「実際の/期待される出力」を持たずに、エラーを逆伝播できるようにすることです。回帰/分類がある最後のレイヤーのグラウンド トゥルースしかありません。したがって、あなたの質問を正しく理解していれば、ここでのバックプロップはディープ ネットワーク カテゴリに分類されます。
「CNN は DBN と同じパターンに従わない」とは言えません。それらは確かに重み共有機能を備えたDBNであるためです。
これがあなたの質問に答えることを願っています。さらに、ここで DBN と DNN の違いを指摘しておくとよいと思います。
別の Web サイトからの引用 ( https://www.quora.com/Deep-Learning/What-are-the-difference-and-relevance-between-DNN-and-DBN )
「ディープ ビリーフ ネットワークは、教師なしデータに基づいて信念 (インスタンス間の確率論的関係) を構築し、教師ありデータが提示されたときにそれらの関係を問題に適用します。
基本的に、学習するデータが多い教師なしで学習し、問題で使用します。
ディープ ニューラル ネットワークは、単に大規模な多層ニューラル ネットワークです。」</p>
深層学習技術は、特定の畳み込みニューラルネットワーク (CNN) における人工知能の最近の技術であり、パターン認識、オブジェクトまたは顔認識に非常に効果的ですここをクリック