問題タブ [perceptron]

単層パーセプトロンでしきい値が実際に何をするのかを確認するのに問題があります。通常、しきい値の値に関係なく、データは分離されます。しきい値を低くすると、データがより均等に分割されるようです。これは何のために使われているのですか？

私はニューラル ネットワークの最初のステップを進めています。そのために、シグモイド活性化関数を使用する非常に単純な単層、単出力パーセプトロンを試しています。以下を使用してトレーニング例が提示されるたびに、オンラインで重みを更新しています。

これは、バイアスニューロンweights(- しきい値) からの重みも含む長さ n のベクトルですresult。1 (バイアス ニューロンからの固定入力)。ここで、論理 AND を実行するようにパーセプトロンをトレーニングしようとすると、重みが長時間収束せず、代わりに同じように増加し続け、しきい値に対して約 -1.5 の比率を維持します。たとえば、3 つの重みが順序：inputcorrect{input,1}

パーセプトロンは 1、1、-1.5 で止まると思います。

この問題は別として、学習のいくつかの停止条件の欠落に関連しているように見えますが、アイデンティティ関数を活性化関数として使用しようとすると、重み値が振動します。

と同様の結果が得られtanhます。これについては説明できません。

ありがとう
トゥヌス

Back Propagation Neural Networkを使用して特定の問題をモデル化するために、Leave-one-outクロス検証を実行しようとしています。トレーニングデータには8つの機能があり、20のインスタンスがあります。NNに予測モデルを構築する機能を学習させようとしています。さて、問題は、予測のエラー率が非常に高いことです。私の推測では、検討中の機能の数と比較すると、トレーニングのインスタンスの数は少ないと思います。この結論は正しいですか。インスタンスに対する最適な機能の比率はありますか？

http://en.wikipedia.org/wiki/Perceptron#Example

私の質問は、NAND が 2 つのパラメーターのみを取り、1 を返すときに、各ベクトルに 3 つの入力値があるのはなぜですか?

http://en.wikipedia.org/wiki/Sheffer_stroke#定義

あなたの便宜のために貼り付けられたコード：

私はニューラルネットワークの初心者です。私はパーセプトロンについて学んでいます。私の質問は、なぜ重みベクトルが決定境界（超平面）に垂直なのですか？私は多くの本を参照しましたが、すべてが重みベクトルが決定境界に垂直であると述べていますが、誰も理由を言っていませんか？

誰かが私に本の説明や参照を教えてもらえますか？

私は、合理的に長い特徴ベクトル (30 ～ 200k) を持つ単層パーセプトロンを構築しており、すべて正規化されています。

クラスの予測に多少役立つ 30,000 の機能があるとしますが、優れた予測因子である 100 の機能をさらに追加します。予測の精度はごくわずかです。ただし、100 個の優れた機能の重みを手動で増やすと (たとえば 5 倍)、精度が数パーセント向上します。

トレーニング プロセスの性質上、より優れた機能には自然に高い重みを与えるべきだというのが私の印象でした。ただし、最高の機能が悪い機能によって「かき消されている」ようです。

より多くの反復で実行しようとしましたが、それは役に立ちませんでした。

合理的に単純な方法で、アルゴリズムをより適切な重み付け機能に適応させるにはどうすればよいですか? また、かなり速い方法です。機能が少ない場合は、一度に 1 つずつ除外してアルゴリズムを実行するのは簡単ですが、30k では実際には実現可能ではありません。

10個の固有ベクトルがある場合、入力層に10個のニューラルノードを持つことができます.5つの出力クラスがある場合、出力層に5個のノードを持つことができます.しかし、MLPの隠れ層の数とニューラル数を選択する基準は何ですか? 1つの隠れ層のノード？

パーセプトロンアルゴリズムを実装しようとしていますが、以下の点がわかりません。

• 反復回数の理想的な値は何ですか
• このアルゴリズムは大量のデータに適していますか？
• しきい値は反復によって変化しますか？
• はいの場合、最終出力にどのような違いがありますか？

特定のデータ項目をユーザーに表示する価値があるかどうかを投票できる機能がいくつかあります。それぞれを0から1までの数値と考えることができます。ここで、1はそれが良いことを意味し、0はユーザーに表示する価値がないことを意味します。私は、プロパティごとに重みを選択し、重み付きの合計を実行して、決定を下すための単一のインジケーターを決定するというかなり標準的なことを行っていました（単一の知覚ユニットのように）。

ただし、異なるプロパティが互いに圧倒し、悪い結果をもたらす場合があります。基本的な問題は、真の最適関数がかなり非線形であり、もちろん、これらの加重和が与える唯一の規則が定義上線形であるということだと思います。これに対抗するために、加重和で「圧倒」されていた機能の1つで、それを使用して単一のインジケーター全体を乗算しました。これにより、この重要な機能を「ゲートキーパー」として機能させることができます。この1つの機能が低すぎる場合は、それだけでデータが送信されないようにすることができます。

標準の加重和を実行して同様の効果を達成するには、その機能の重みを非常に高くして、他の機能が基本的に何も言えないようにする必要があります...基本的に、これ以降、最良のルールの非線形性に戻ります機能は、一部の範囲では非常に重要になる可能性がありますが、他の範囲では重要ではありません。

このような結果全体を乗算する機能を使用することについて何が知られているのか疑問に思いましたか？加重和が（単純さ以外に）最も頻繁に使用されるものであるという特定の理由はありますか？

PS。より多くのデータが得られたら、おそらく標準の機械学習手法を使用して実際にルールを学習しますが、今のところ、サンプルデータセットで手動でトレーニングしています。私は今でもそれをうまく機能させようとしている間、単純化するつもりです。