問題タブ [supervised-learning]

最近、フィードフォワード ニューラル ネットワークの実装を開始し、学習方法として逆伝播を使用しています。http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.htmlをガイドとして使用しています。

ただし、最初のエポックの後、エラーは0です。実際の目的でネットワークを使用する前に、単純なネットワーク構造で試しました：

• 4 つのバイナリ入力、1、1、0、0。
• 2 つの隠れ層、それぞれ 4 つのニューロン。
• 1 つの出力ニューロン、1.0 のはず = 有効な入力。

各トレーニング エポックは、テスト入力 (1, 1, 0, 0) を実行し、出力エラー (シグモイド導関数 * (1.0 - シグモイド)) を計算し、エラーを逆伝播し、最後に重みを調整します。

各ニューロンの新しい重み = 重み + learning_rate * ニューロンの誤差 * 重みへの入力。

各隠れニューロンのエラー = (すべての出力ニューロンのエラーの合計 * 接続された重み) * ニューロンのシグモイド導関数。

問題は、エラーを下げるという点で、エポック間の何らかの「進歩」を確認するには、学習率を 0.0001 にする必要があることです。この場合、エラーは ~30.0 あたりから始まります。学習率が高くなると、最初のパスの後にエラーが 0 になるため、誤検知が発生します。

また、実際のデータ (サンプルからの 32 個のオーディオ機能のセット - 隠れ層ごとに 32 個のニューロン) でこのネットワークを試すと、同じ問題が発生します。あらゆるノイズが偽陽性の引き金となるところまで。おそらくこれは入力機能の問題である可能性がありますが、高いピッチのノートを使用してテストしているため、生データが低いピッチのノートとは明らかに異なることがわかります.

私はニューラル ネットワークの初心者なので、ネットワークに問題があるとほぼ確信しています。どんな助けでも大歓迎です。

プロジェクトでWEKAを使用しています。SVM(SMO) を使用して結果を分類します。最初にトレーニング セット データを収集し、10 倍の交差検証を実行しました。次に、これらのトレーニング セットを使用して分類器を作成し、リアルタイムで実行しました。つまり、リアルタイムで特徴を抽出して分類器に渡しました。ただし、分類子はほとんどの場合 0 を返します (5 つのラベルがあり、0 が最初のラベルです)? 他のラベルを返す場合がありますが、非常にまれです。

Classier が 0 を出力し続ける原因として考えられる理由は何ですか? どうもありがとう。

陽性クラスに属する非常に小さなデータと、陰性クラスの大量のデータがあります。教授によると。Andrew Ng (異常検出 vs 教師あり学習)、非常に歪んだデータのため、教師あり学習の代わりに異常検出を使用する必要があります。

間違っている場合は訂正してください。ただし、どちらの手法も同じように見えます。つまり、(教師あり) 異常検出と標準の教師あり学習の両方で、正常サンプルと異常サンプルの両方でデータをトレーニングし、未知のデータでテストします。違いはありますか？

同じサイズの両方の型データを取得するには、負のクラスのアンダーサンプリングまたは正のクラスのオーバーサンプリングを実行する必要がありますか? 全体の精度に影響はありますか?

バイナリ分類に決定木を使用したいと思います。私のアプローチが決定木に対して有効なアプローチであるかどうかを知りたいです。

データ セット内の各インスタンスには属性のペアがあり、いくつかのペアについては、値を比較して決定を下すことができることがわかりました。たとえば、インスタンスには次の属性があります。

インスタンス = {A1、A2、A3、A4、B1、B2、B3、B4}

A1 と B1 は値が異なりますが、同じ機能を参照しています。これは、これらをペアとして参照したときに意味していました。私がやりたいことは、ペアの値を比較するツリーにノードを持たせることです:

これは決定木を使用した有効なアプローチですか?

このタイプの問題に対するより良い学習アプローチはありますか?

したがって、基本的には、次のような長さが等しくないトレーニングおよびテスト データ セット (一連の配列) を扱っています。

私は機械学習分野に不慣れで、これらの長さが等しくない入力配列を同じ長さにする方法に行き詰まっているため、既存の機械学習アルゴリズムを簡単に活用できます..

現在、Largest Common Sequence を使用して、長さが異なる入力配列間の類似性を見つけることが考えられます。

しかし、基本的に LCS 情報を取得した後、入力配列を同じ長さの配列に変換するにはどうすればよいでしょうか..?

私は正しい道を進んでいますか？誰か助けてくれませんか？

SVM に関するウィキペディアのページをざっと見たところ、次の行が目に留まりました。「使用されるカーネルがガウス動径基底関数である場合、対応する特徴空間は無限次元のヒルベルト空間です。」http://en.wikipedia.org/wiki/Support_vector_machine#Nonlinear_classification

私の理解では、SVM でガウス カーネルを適用すると、ランドマークをトレーニング例として選択し、「類似性」を測定しているため、結果の特徴空間はm次元 (トレーニング サンプルの数) になります。m特定の例とガウス カーネルを使用したすべての例の間。結果として、1 つの例について、トレーニング例と同じ数の類似値を持つことになります。これらはm、無限次元ではなく、次元ベクトルになる新しい特徴ベクトルになります。

誰かが私に何が欠けているのか説明してもらえますか?

ありがとう、ダニエル

下の図に示すように、メタ分類子の「スタッキング」を使用して、Weka で 2 つのアルゴリズムを組み合わせていました。

分類子 (最初のセル) とメタ分類子 (3 番目のセル) で同じアルゴリズムを使用できるかどうかは疑問です。組み合わせたい 2 つのアルゴリズムが J48 と複数パーセプトロンの場合、スタッキング方法に理想的なメタ分類器は何ですか?