コサイン距離を使用したコンテンツベースのアドレス指定をサポートするために NTM がメモリを初期化する方法は明確ではありません。メモリ セルの初期値をゼロにすることはできませんが、ゼロ以外の値 (たとえば 1.0) に初期化しても、すべてのセルは同じように見え、メモリ アドレス指定メカニズムによってメモリ セル全体に均一な分布が生成されます。シフト メカニズムは、この均一な分布をシフトするだけで、同じ均一な分布が生成されます。シャープ化によって、主にノイズが原因で一部の値がシャープになる場合があります。
したがって、彼らが説明したメモリが、同じことを常にあちこちに書き込む以外にどのように使用できるかはわかりません（ノイズを無視する場合）。
私は何かを見逃していますか?誰かがメモリの初期化について教えてくれますか?
私はそれを理解したと思います。補間と、それがシフトとどのように相互作用するかを調べました。
メモリ セル上の分布は、メモリ ヘッドの状態の一部です。内挿は、以前の分布と、コンテンツ ベースのコサイン類似度によって生成された新しい分布のどちらかを選択します。次に、シフトは、頭を 1 セル下または 1 セル上に移動する (またはその位置にとどまる) ことを決定できます。
メモリが空で、最初のアドレス指定分布が最初のメモリ セルに集中しているとします。コンテンツベースのメカニズムは均一な分布を生成しますが、補間メカニズムはその均一な分布を無視することを決定し、最初の分布を取得して (最初のセルに焦点を合わせます)、その後、シフトは次のセルに移動することを決定できます。
そのため、大量のメモリ作成 (入力シーケンス全体をメモリに書き込む) は、コンテンツ ベースの部分を無視します。