58

私が見たニューラルネットワークの例はすべて、画像と固定長データに適した固定セットの入力用です。文、クエリ、ソース コードなどの可変長データをどのように処理しますか? 可変長データを固定長入力にエンコードし、ニューラル ネットワークの一般化プロパティを取得する方法はありますか?

4

6 に答える 6

33

私はそこにいて、この問題に直面しました。ANN は特徴ベクトルの長さを固定するために作成されたものであり、KNN、SVM、ベイジアンなどの他の多くの分類器も同様です。つまり、入力層は明確に定義され、変更されないようにする必要があります。これは設計上の問題です。ただし、不足しているギャップを埋めるためにゼロを追加することを選択する研究者もいます。個人的には、これらのゼロ (非現実的な値) がネットが収束する重みに影響を与えるため、これは良い解決策ではないと思います。さらに、ゼロで終わる実際の信号が存在する可能性があります。

ANN は唯一の分類器ではなく、ランダム フォレストなど、より優れた分類器が他にもあります。この分類器は研究者の間で最高と考えられています。少数のランダムな特徴を使用し、バギングのブートストラップを使用して何百もの決定木を作成します。これはうまくいくかもしれません。選択された特徴の数は、通常、特徴ベクトルのサイズの sqrt です。これらの機能はランダムです。各決定木は解に収束し、多数決ルールを使用して最も可能性の高いクラスが選択されます。

もう 1 つの解決策は、動的タイム ワーピング DTW を使用するか、隠れマルコフ モデル HMM を使用することです。

もう 1 つの解決策は、補間、補間 (小信号に沿って欠落している値を補償する)、すべての小信号を最大信号と同じサイズにすることです。補間方法には、平均化、B スプライン、3 次などがありますが、これらに限定されません。 .

別の解決策は、特徴抽出法を使用して最良の特徴 (最も特徴的なもの) を使用することです。今回はそれらを固定サイズにします。これらの方法には、PCA、LDA などが含まれます。

もう 1 つの解決策は、特徴選択 (通常は特徴抽出後) を使用して、最高の精度を与える最良の特徴を簡単に選択することです。

今のところは以上です。これらのいずれもうまくいかなかった場合は、私に連絡してください。

于 2015-04-11T20:12:43.080 に答える
31

通常は、データから特徴を抽出し、それらをネットワークにフィードします。一部のデータだけを取得してネットにフィードすることはお勧めできません。実際には、前処理と適切な機能の選択によって、ニューラル ネットワークの成功とパフォーマンスが決まります。残念ながら、それを理解するには経験が必要であり、本から学ぶことはできません。

要約：「ガベージイン、ガベージアウト」

于 2009-11-19T21:49:07.503 に答える
18

一部の問題は、再帰型ニューラル ネットワークによって解決できます。たとえば、一連の入力に対するパリティの計算に適しています。

パリティを計算するための再帰型ニューラル ネットワークには、1 つの入力フィーチャしかありません。ビットは、時間の経過とともにそれに供給される可能性があります。その出力は隠れ層にもフィードバックされます。これにより、2 つの隠れユニットだけでパリティを学習できます。

通常のフィードフォワード 2 層ニューラル ネットワークでは、パリティを表すために 2**sequence_length の隠れユニットが必要になります。この制限は、2 層だけのアーキテクチャ (SVM など) にも当てはまります。

于 2010-04-21T20:05:32.610 に答える
2

それを行う1つの方法は、入力に時間コンポーネントを追加し（リカレントニューラルネット）、入力を一度にチャンクずつネットにストリーミングすることだと思います（基本的に、レクサーとパーサーに相当するニューラルネットワークを作成します）。入力は非常に大きくなりますが、入力の異なるシーケンスを互いに分離するための停止記号が必ずしも存在しないという欠点があります (文のピリオドに相当)。

于 2010-04-22T17:14:28.047 に答える
0

完全にはわかりませんが、最大数の入力を使用すると思います（たとえば、単語の場合、45文字を超える単語はないとしましょう（ウィキペディアによると、辞書で見つかった最長の単語）。単語が検出された場合、他の入力を空白文字に設定します。

または、バイナリ データの場合は 0 に設定します。このアプローチの唯一の問題は、空白文字/ゼロ/その他で埋められた入力が有効な完全な長さの入力と衝突する場合です (数字の場合ほど単語の問題ではありません)。

于 2009-11-19T21:07:01.290 に答える