BERT について興味深い質問があります。
異なるコンテキストでの 2 つの単語の類似性は、異なるコンテキストを構成する入力埋め込みの類似性に依存すると言って、モデルのアーキテクチャを単純化できますか? たとえば、コンテキスト DRINK_GLASS 内の GLASS とコンテキスト LOVE_WINE 内の WINE の埋め込みの類似性は、入力埋め込み GLASS と WINE (最後の位置) および DRINK と LOVE (最初の位置) の類似性に依存すると言えますか? それとも、DRINK (最初のコンテキスト、最初の位置) と WINE (2 番目のコンテキスト、2 番目の位置) および LOVE と GLASS (その逆) の類似性も考慮に入れる必要がありますか?
助けてくれてありがとう。今のところ、Bert のアーキテクチャを正確に理解することは非常に困難ですが、実験をしようとしているので、いくつかの基本を理解する必要があります。