word-embedding - BERT 文の埋め込みと LSA の埋め込みの違い

Question

サービスとしての BERT ( https://github.com/hanxiao/bert-as-service ) を使用すると、文レベルの埋め込みを抽出できます。300 次元の単語ベクトルを提供する事前トレーニング済みの LSA モデルがあると仮定すると、意味の一貫性について 2 つの文を比較しようとしているときに、LSA モデルが BERT よりも優れたパフォーマンスを発揮するシナリオを理解しようとしています。

LSA は単語行列の大きな袋の圧縮にすぎないため、このユースケースに LSA が適している理由は思いつきません。

Answer 1

BERT はシーケンス長の 2 次メモリを必要とし、分割された文のペアでのみトレーニングされます。これは、非常に長い文を処理するときに不便な場合があります。

LSA の場合、ドキュメントの長さが実際に一定のサイズの bag-of-word ベクトルのみが必要です。非常に長いドキュメントの場合は、LSA の方が適している可能性があります。