問題タブ [lsa]

テキストを深層学習用に準備するのに最適なツールはどれですか?

Word2Vec, Glove, Keras, LSA...はどう違いますか？

numpy を使用してマトリックスを作成すると、以下のスクリプト エラーが表示されます。

ValueError: 形状 (4,4) と (3,) が整列していません: 4 (dim 1) != 3 (dim 0)

文の意味的な比較をしたい。たとえば、次の入力があります。

「トランプは米国の大統領になったことがない」

私は新聞でこれに対してWebスクレイピングを行い、次の結果を想定してみましょう:

「トランプはアメリカ合衆国の大統領です」。

ここで、入力と結果 (複数) のセマンティック比較を行って、指定された入力が正しいかどうかを識別する必要があります。

私はインターネットをサーフィンして、 dandelionやparalleldotsのようないくつかの API を見つけましたが、それらは文の比較を行っており、これに対して90% 以上のスコアを与えてくれます。

この問題をオーバーホールする方法や、このタスクに使用できるオープン ソース API について誰か教えてもらえますか?

もう一つの例：

入力：

「トランプはイギリスの大統領です」

入力の比較:

「トランプはアメリカの大統領です」

サービスとしての BERT ( https://github.com/hanxiao/bert-as-service ) を使用すると、文レベルの埋め込みを抽出できます。300 次元の単語ベクトルを提供する事前トレーニング済みの LSA モデルがあると仮定すると、意味の一貫性について 2 つの文を比較しようとしているときに、LSA モデルが BERT よりも優れたパフォーマンスを発揮するシナリオを理解しようとしています。

LSA は単語行列の大きな袋の圧縮にすぎないため、このユースケースに LSA が適している理由は思いつきません。