0

これらのパラメーターがネットワークの予測に影響を与えないように、十分な数の隠れ層、層ごとの隠れユニット、および反復を備えたニューラル ネットワークがあるとします。

特徴 x1、x2、...、xn が与えられた場合、この特徴のサブセット (x1 から xn) が与えられた場合、潜在的な特徴の範囲が冗長であるかどうかを (証明するために) 可能ですか? つまり、これらの特徴 (x1 から xn) が与えられると、ニューラル ネットワークは次のような他の特徴を識別することができます。

  • 違いまたは追加 (x1-x49、または x17+xn)?
  • 積と比率 (x1*x1 または x47/xn)
  • 高次多項式 (または ∏(x1 から xn) のような数列の積)
  • 元の特徴に基づく三角関数 (sin(x1*xn) + x17)
  • 対数関数 (ln(x2*x4)/x6)

ニューラル ネットワークを使用して、ネットワークが正確に予測するために高次関数または別の関数を追加する必要がある状況があるかどうか疑問に思っているのは、この一連の調査です。

一般に、適切な数の機能が与えられた場合、ネットワークは任意のグラフをモデル化できますか? また、そうでない場合、ニューラル ネットワークが予測できない機能ドメインはどれですか?

さらに、このトピックを参照していると誰かが指摘できる研究はありますか?

ありがとう！

4

2 に答える 2

1

特徴 x1、x2、...、xn が与えられた場合、この特徴のサブセット (x1 から xn) が与えられた場合に、潜在的な特徴の範囲が冗長であるかどうかを (証明するために) 可能ですか? つまり、これらの特徴 (x1 から xn) が与えられた場合、ニューラル ネットワークは他の特徴を識別できます。

ニューラルネットワークで次元削減を探しているようです。オートエンコーダーはそれを行うことができます:

  • 入力 x1、x2、...、xn があります。
  • これらの入力 (n 入力ノード) を取得するネットワークを作成します。いくつかの隠れ層、ボトルネック (k ノード、k < n)、および出力層 (n ノード) があります。
  • 目標は、入力を再作成することです。

トレーニングされると、出力後にレイヤーを破棄します。ネットワークがボトルネックから入力を復元できた場合、後の層は必要ありません。

一般に、適切な数の機能が与えられた場合、ネットワークは任意のグラフをモデル化できますか? また、そうでない場合、ニューラル ネットワークが予測できない機能ドメインはどれですか?

ユニバーサル近似定理を探していると思います。要するに、ニューラル ネットワークは、十分なノードと少なくとも 1 つの隠れ層を与える限り、R^n のコンパクトなサブセットで任意の連続関数を近似できます。

于 2017-08-16T06:25:24.777 に答える