TL;DR
構造化データ分類のための特定のアルゴリズムの一部を理解するのに助けが必要です。この目的のためのさまざまなアルゴリズムの提案も受け付けています。
こんにちは、みんな！
私は現在、構造化データの分類を含むシステムに取り組んでおり (それについてはこれ以上明らかにしたくありません)、単純な構造による逆伝播 (BPTS) アルゴリズムを使用しています。GPU を使用して速度をさらに向上させるためにコードを変更する予定ですが、現時点では、使用できる BPTS よりも優れたアルゴリズムを探しています。
私は最近、この論文に出くわしました -> [1] そして、その結果に驚きました。試してみることにしましたが、説明があまり明確ではないため、アルゴリズムの一部を理解するのに苦労しています。私はすでに何人かの著者に説明を求めて電子メールを送りましたが、まだ彼らから連絡がありません。
アルゴリズムの高レベルの説明は 787 ページにあります。そこでは、ステップ 1 で、著者はネットワークの重みをランダム化し、「データ構造を通じて各ノードの入力属性をフロンティア ノードからルートに順方向に伝搬し、したがって、 、ルートノードの出力を取得します」。私の理解では、ステップ 1 は初期化ステップであるため、繰り返されることはありません。私が引用した部分は、1 回限りのアクティベーションもここで行われることを示しています。しかし、このネットワークの活性化に使用されるトレーニング データセットのアイテムは何ですか? そして、このアクティベーションは本当に 1 回だけでよいのでしょうか? たとえば、私が使用している BPTS アルゴリズムでは、トレーニング データセットの各アイテムに対して、現在のアイテム (データ構造) に依存するトポロジーを持つ新しいニューラル ネットワークがその場で作成され、アクティブ化されます。次に、エラーが逆伝播し、
私を悩ませるもう 1 つのことは、ステップ 3b です。そこで、著者は、式 (17)、(30)、および (34) を使用して、パラメータ {A、B、C、D} を NT 回更新すると述べています。私の理解では、NT はトレーニング データセット内のアイテムの数を示します。しかし、式 (17)、(30)、および (34) は既にトレーニング データセット内のすべての項目を含んでいるので、それらを (具体的には) NT 回解くポイントは何ですか?
私が得られなかったもう 1 つのことは、彼らのアルゴリズムがトレーニング データセット内の各項目の (おそらく) 異なる構造をどの程度正確に考慮しているかということです。これが BPTS でどのように機能するかは知っていますが (上記で説明しました)、彼らのアルゴリズムでどのように機能するかは非常に不明です。
わかりました、今のところすべてです。誰かがこのアルゴリズムで何が起こっているのかについて何らかの考えを持っているなら、私はそれを聞くことに非常に興味があります (むしろ、それを読んでください)。また、構造化データの分類に有望な他のアルゴリズムやネットワーク アーキテクチャ (ここで長短期記憶 (LSTM) を使用できますか?) を知っている場合は、遠慮なくそれらを投稿してください。
有益なご意見をお寄せいただきありがとうございます。
[1] http://www.eie.polyu.edu.hk/~wcsiu/paper_store/Journal/2003/2003_J4-IEEETrans-ChoChiSiu&Tsoi.pdf