37

私は現在、トム・ミッチェルの機械学習の本を読んでいます。ニューラルネットワークについて話すとき、ミッチェルは次のように述べています。

「トレーニング例が線形分離可能である場合、パーセプトロンルールは成功した重みベクトルを見つけますが、例が線形分離可能でない場合、収束に失敗する可能性があります。」

彼が「線形分離可能」とはどういう意味か理解するのに問題がありますか？ウィキペディアによると、「2次元空間内の2組の点は、1本の線で完全に分離できれば線形分離可能です」とのことです。

しかし、これはニューラルネットワークのトレーニングセットにどのように適用されますか？入力（またはアクションユニット）を線形分離可能にするかどうかはどうすればよいですか？

私は幾何学と数学が得意ではありません-誰かが私が5歳であるかのようにそれを私に説明できますか？;） ありがとう！

4

3 に答える 3

47

サイズと価格の2つのパラメーターに基づいて、住宅が売りに出されたのと同じ年に売却されるかどうかを決定するアルゴリズムを作成するとします。つまり、サイズと価格の2つの入力と、1つの出力があり、売れるか売れないかです。さて、トレーニングセットを受け取ったときに、予測を容易にするために出力が蓄積されない場合があります（最初のグラフに基づいてX、NまたはSになるかどうかを教えてください）：2番目のグラフはどうですか？

        ^
        |  N S   N
       s|  S X    N
       i|  N     N S
       z|  S  N  S  N
       e|  N S  S N
        +----------->
          price


        ^
        |  S S   N
       s|  X S    N
       i|  S     N N
       z|  S  N  N  N
       e|    N N N
        +----------->
          price

どこ：

S-sold,
N-not sold

最初のグラフでわかるように、2つの可能な出力（販売済み/未販売）を直線で実際に分離することはできません。どのように試しても、線の両側と両側に常に存在しSますN。つまり、アルゴリズムには多くのpossible行がありますが、2つの出力を分割するための（そしてもちろん、最初からの目標である新しい出力を予測するための）最終的な正しい行はありません。そのため、linearly separable（2番目のグラフ）データセットの予測ははるかに簡単です。

于 2012-12-20T17:49:45.723 に答える
42

これは、最初のクラスのすべての点が1つの半空間にあり、2番目のクラスのすべての点が他の半空間にあるような超平面（入力空間を2つの半空間に分割する）があることを意味します。

2次元では、これは、あるクラスのポイントを他のクラスのポイントから分離する線があることを意味します。

編集：たとえば、この画像で、青い円が1つのクラスのポイントを表し、赤い円が別のクラスのポイントを表す場合、これらのポイントは線形分離可能です。

ここに画像の説明を入力してください

3次元では、あるクラスのポイントを他のクラスのポイントから分離する平面があることを意味します。

高次元でも同様です。2セットの点を分離する超平面が存在する必要があります。

あなたは数学が苦手だと言っているので、私は正式な定義を書いていませんが、それが役立つかどうかを（コメントで）知らせてください。

于 2012-12-20T16:40:13.783 に答える
9

次の2つのデータセットを見てください。

^                         ^
|   X    O                |  AA    /
|                         |  A    /
|                         |      /   B
|   O    X                |  A  /   BB
|                         |    /   B
+----------->             +----------->

左側のデータセットは（カーネルを使用せずに）線形分離可能ではありません。右のものはA' and、示された線によってB`のために2つの部分に分離可能です。

つまり、左側の画像に直線を描くことはできません。そのため、すべてXが一方の側にあり、すべてがもう一方の側にありますO。そのため、「線形分離可能ではない」と呼ばれます==2つのクラスを分離する線形多様体は存在しません。

現在、有名なカーネルトリック（次の本で確実に説明します）では、非線形問題を線形分離可能にするために仮想的に追加の次元を追加することにより、非線形問題に多くの線形法を実際に使用できます。

于 2012-12-20T16:42:24.233 に答える