20

私は現在、情報抽出のためにニューラル ネットワークを設定しようとしています。私は、困惑しているように見えるものを除いて、ニューラル ネットワークの (基本的な) 概念にかなり精通しています。おそらくかなり明白ですが、それに関する情報が見つからないようです。

ニューラルネットワークはメモリをどこに/どのように保存しますか? ( / 機械学習)

ニューラル ネットワークと機械学習についてオンラインで入手できる情報はかなりありますが、それらはすべてメモリ ストレージをスキップしているようです。たとえば、プログラムを再起動した後、学習/予測を続行するためのメモリはどこにありますか? オンラインの多くの例はメモリを「保持」していないようですが、これが実際の/大規模な展開に対して「安全」であるとは想像できません。

質問の言葉遣いが難しいので、もう少し詳しく説明する必要がある場合はお知らせください。ありがとう、

編集： - 以下の回答をフォローアップするには

すべてのニューラル ネットワークには、エッジの重みが関連付けられています。これらのエッジの重みは、ニューラル ネットワークのトレーニング セッション中に調整されます。

これはまさに私が苦労している場所です。この二次記憶をどのように視覚化する必要がありますか? これはRAMのようなものですか？それは論理的ではないようです..この二次メモリを定義または指定するオンラインの例に遭遇したことがないため、私が尋ねる理由(たとえば、XMLファイルや巨大な配列などのより具体的なもの)。

4

5 に答える 5

10

メモリ ストレージは実装固有であり、アルゴリズム自体の一部ではありません。どうやって収納するかよりも、何を収納するかを考えたほうがいいかもしれません。

入力層、非表示層、および出力層にそれぞれ 3、8、および 5 つのノードを持つ 3 層の多層パーセプトロン (全結合) を考えます (この議論では、バイアス入力を無視できます)。次に、必要な重みを表す合理的な (かつ効率的な) 方法は3x8、入力層と非表示層の8x5間の重みの行列と、非表示層と出力層の間の重みの行列の 2 つの行列です。

この例では、重みとネットワーク形状 (層ごとのノード数) を保存する必要があります。この情報を保存する方法はたくさんあります。XML ファイルまたはユーザー定義のバイナリ ファイルである可能性があります。Python を使用している場合は、両方のマトリックスをバイナリ.npyファイルに保存し、ネットワーク形状をファイル名にエンコードできます。アルゴリズムを実装した場合、永続データを保存する方法は開発者次第です。一方、既存の機械学習ソフトウェア パッケージを使用している場合は、おそらく、トレーニング済みネットワークを格納およびロードするための独自の I/O 関数が含まれています。

于 2013-04-03T13:41:17.840 に答える
5

すべてのニューラル ネットワークには、エッジの重みが関連付けられています。これらのエッジの重みは、ニューラル ネットワークのトレーニング セッション中に調整されます。あなたの疑問は、これらのエッジの重みを保存することだと思います。これらの値は、ニューラル ネットワークで将来使用するために保持できるように、セカンダリ メモリに個別に格納されます。

于 2013-04-02T18:00:25.350 に答える
3

モデル (ニューラル ネットワーク) の設計に関する議論は、耐久性などのデータ要件に対処する実装の議論とは別に保持されることを期待しています。

特定のライブラリまたはフレームワークには、耐久性のあるストレージに関する特定の答えがある場合がありますが、独自のものをゼロから作成する場合は、あなた次第です。

たとえば、トレーニング済みの重みとトポロジをファイルに書き込むだけではどうですか? YAML や XML などをフォーマットとして使用できます。

また、状態/ストレージとニューラル ネットワークについて話している間、連想メモリの調査に興味があるかもしれません。

于 2013-04-02T17:57:20.310 に答える
0

あなたのアプローチは間違っていると思います。ニューラル ネットワークは、コンピューターで見られるようなメモリのダンプではありません。特定のメモリ チャンクが存在するアドレスはありません。すべてのニューロンが一緒になって、特定の入力が特定の出力につながることを確認します。

自分の脳と比較してみましょう。砂糖を味わうとき、舌の味蕾は入力ノードであり、化学信号を読み取り、電気信号を脳に送信します。脳は、電気信号のさまざまな組み合わせを使用して味を判断します。

ルックアップ テーブルはありません。一次記憶と二次記憶はなく、短期記憶と長期記憶だけです。

于 2015-06-23T16:42:35.373 に答える