machine-learning - 機械学習: 教師なしバックプロパゲーション

Question

ニューラル ネットワークによる機械学習の概念のいくつかに問題があります。それらの 1 つがバックプロパゲーションです。重み更新式では、

delta_w = a*(t - y)*g'(h)*x

t教師あり学習の場合は、クラスのラベルなどになる「ターゲット出力」です。しかし、教師なし学習の「目標出力」はどうなるでしょうか?

特に分類のクラスタリングのために、教師なし学習でBPを使用する方法の例を誰かが親切に提供できますか?

前もって感謝します。

Answer 1

最も一般的なのは、必要な出力が入力と等しいautoencoder をトレーニングすることです。これにより、ネットワークは入力分布を最適に「圧縮」する表現を学習しようとします。

これは、出力ラベルがランダムに割り当てられ、収束率に基づいて反転される場合がある別のアプローチを説明する特許です。私には奇妙に思えますが、大丈夫です。

クラスタリングやその他の教師なしタスクにバックプロパゲーションを使用する他の方法についてはよく知りません。ANN を使用したクラスタリング アプローチでは、他のアルゴリズムを使用しているようです (例 1、例 2 )。

Answer 2

どの教師なし機械学習アルゴリズムが具体的にバックプロパゲーションを使用しているかはわかりません。聞いたことのないものがあれば。例を挙げていただけますか？

バックプロパゲーションは、ネットワーク内の重みに関して人工ニューラル ネットワークをトレーニングするための誤差関数の導関数を計算するために使用されます。「エラー」がネットワークを「後方」に「伝播」しているため、そのように名付けられました。この場合、ターゲットに関する最終的なエラーは関数の関数 (関数の ... ANN のレイヤー数に応じて) に依存するため、これが必要です。導関数を使用すると、値を調整してエラーを改善できます。関数、学習率によって調整されます (これは勾配降下です)。

教師なしアルゴリズムでは、これを行う必要はありません。たとえば、平均二乗誤差 (MSE) を最小化しようとしているk-Meansでは、割り当てが与えられた各ステップで誤差を直接最小化できます。グラデーションは必要ありません。混合ガウスなどの他のクラスタリング モデルでは、期待値最大化(EM) アルゴリズムは、勾配降下法に基づく方法よりもはるかに強力で正確です。

Answer 3

教師なし学習にバックプロパゲーションを使用するには、アルゴリズムの各段階で、更新前のクラスの各要素までの平均距離が最小であるクラスにターゲット出力であるtを設定するだけで済みます。要するに、私たちは常にANNをトレーニングして、入力に関してメンバーが最も類似しているクラスに入力を配置しようとします。このプロセスは入力スケールに敏感であるため、スケール不変の方法で距離を計算するには、最初に平均を減算し、各コンポーネントの標準偏差で除算することにより、各次元の入力データを正規化する必要があります。

クラスターの中心定義からの単純な距離ではなく、バックプロップニューラルネットワークを使用する利点は、ニューラルネットワークがクラ​​スター間のより複雑で不規則な境界を可能にすることです。