問題タブ [perceptron]

OCR技術を使用して画像から文字を認識するプログラムを開発しています。今までは画像をスキャンする方法でしたが、ニューラルネットワークを使わなければなりません。単層パーセプトロンとは何か、それを使用してネットワークをトレーニングする方法を説明してください。

ニューラルネットワークの基礎を学んでいます。

C# でパーセプトロンを使用して AND、OR、および XOR ロジックを実装するにはどうすればよいですか?

ネット上のどこかに多層パーセプトロンの無料の (できればパブリック ドメインまたは BSD ライクなライセンスですが、GPL も可能です) 実装はありますか?

私は教科書の例を持っていますが、ライセンスがあまりにも制限的で、ウィキペディアの記事の数学に従うことはできますが、それを正しく理解するのに十分な自信がなく、テストするのが困難です.

Google で簡単に検索したところ、無料の (ビールのように) バイナリのみのバージョンがいくつか見つかりました。大規模なオープンソース プロジェクトの一部である MLP を見つけたいと思っています。

ANSI C でのパーセプトロンの実装は次のとおりです。

使用しているトレーニング セット: Data Set

無関係なコードをすべて削除しました。基本的に、ファイルを読み取り、そこから値を、、 のtest1.txt3 つの配列にロードします。xyoutputs

次に、何らかの理由で 0 に収束しない (0 に収束する必要がある)パーセプトロン学習アルゴリズムglobalErrorがあるため、無限の do while ループが発生します。

小さいトレーニング セット (5 ポイントなど) を使用すると、かなりうまく機能します。どこに問題があるのでしょうか？

このC# パーセプトロン アルゴリズムと非常によく似たアルゴリズムを作成しました。

編集：

より小さなトレーニング セットの例を次に示します。

複数の出力を持つフィードフォワードニューラルネットワークを設計する場合、複数の出力を持つ単一のネットワークと、それぞれが単一の出力を持つ複数のネットワークを持つことの間に（計算効率以外の）概念的な違いはありますか？

同じネットワーク内の出力ニューロンは「オンザフライ」で相互に影響を与えませんが、各出力からのエラーが逆伝播して隠れ層の重みに影響を与え、それが他の出力の値に影響を与えるため、トレーニングに影響を与えます。 。

どちらの方法でも解決できる問題はありますか？直感的には、単一のネットワークは、一度に1つの出力のみをアクティブにする必要がある問題（つまり、OCR）に適しています。複数のネットワークは、複数の出力を同時にアクティブにできる問題（つまり、各出力が何らかの特性に対応する場合）に適しています。入力では、それらのいくつかが同時に存在する可能性があります）。しかし、これは単なる直感です。それは実質的に成り立ちますか？

Charniak NLP パーサー、Shen、Sarkar、および Och のパーサー、またはShen と Joshi の手法で使用されるような、識別的な再ランキング用の既存のソフトウェアはありますか? 解析の再ランキングに似た、自分の用途に簡単に適応できるものが欲しいです。

パーセプトロン アルゴリズムのパラメーターを調整して、目に見えないデータで比較的うまく機能するようにする方法を見つけようとして、ある種の問題が発生しています。

動作確認済みのパーセプトロン アルゴリズムを実装しました。反復回数とパーセプトロンの学習率を調整する方法を見つけたいと思います。これらは、私が興味を持っている 2 つのパラメーターです。

パーセプトロンの学習率は、アルゴリズムが収束して完了するかどうかに影響しないことを知っています。nの変更方法を把握しようとしています。速すぎると大きく揺れ、低すぎると時間がかかります。

反復回数に関しては、理想的な回数を決定する方法が完全にはわかりません。

いずれにせよ、助けていただければ幸いです。ありがとう。

答えを知っている人のためのいくつかの簡単なマーク。

私は現在試験の修正を行っていますが、過去の質問の 1 つは次のとおりです。

パーセプトロンの秩序とはどういう意味ですか?

私の講義ノートにはこれに関する情報が見つからず、グーグルでさえ途方に暮れているようです。

私の推測では、順序はニューラル ネットワークの層の数ですが、これは正しくないようです。

私はパーセプトロンを読んでいて、Haskellにパーセプトロンを実装しようとしていました。私がテストできる限り、アルゴリズムは機能しているようです。ある時点でコードを完全に書き直すつもりですが、そうする前に、これをコーディングしている間に生じたいくつかの質問をすることを考えました。

ニューロンは、完全なニューロンを返すときにトレーニングできます。let neuron = train set [1,1]動作しますが、train関数を変更して入力なしで不完全なニューロンを返すか、パターンマッチを実行して不完全なニューロンのみを作成しようとすると、コードは終わりのないループに陥ります。

tl; dr完全なニューロンを返す場合はすべて機能しますが、カレー可能なニューロンを返す場合、コードはループに陥ります。

編集：コメントに従って、もう少し指定します。

上記のコードで実行すると、次のようになります。 perceptron: <<loop>>

しかし、mainメソッドを次のように編集することによって：

（、および印刷行に注意してくださいlet neuron）、すべてが機能し、出力は次のとおりです。

Neuron 1.0 [0.71345896,0.33792675] [1.0,0.0]

単層ニューラル ネットワークの実装には、2 つのデータ ファイルがあります。

上記は2つのデータファイルのフォーマットです。

対象の出力は、対応する入力が属する特定のクラスに対して「1」、残りの 2 つの出力に対して「0」です。

問題は次のとおりです。

単層ニューラル ネットワークは、Y = A*X + b で A (3 x 2 行列) と b (3 x 1 ベクトル) を見つけます。ここで、Y は [C1, C2, C3]' で、X は [x1, x2]' です。 .

上記の問題をニューラル ネットワークで解決するには、方程式を次のように書き直すことができます。 1]'

これで、3 つの入力ノード (それぞれ x1、x2、および 1 に 1 つ) と 3 つの出力 (C1、C2、C3) を持つニューラル ネットワークを使用できます。

結果として得られる 9 つの重み (3 つの入力と 3 つの出力の間に 9 つの接続があるため) は、A' 行列の要素に相当します。

基本的に、私はこのようなことをしようとしていますが、うまくいきません:

この関数を別のファイルに記述し、以前のコードで呼び出しています。