問題タブ [sentence-transformers]

kmeans を使用した類似性とクラスタリングをテストしながら文変換モデルを使用して、特定のタイプのテキストに対して適切な文埋め込みを生成しようとしていますが、良い結果は得られません。改善するためのアイデアはありますか？データセットで文変換モデルをトレーニングすることを考えていました（これは単なる文ですが、ラベルはありません）。特に ny データで既存のモデルを再トレーニングして、より良い埋め込みを生成するにはどうすればよいですか。ありがとう。

XLNet embedded-as-serviceを使用して、2 つの同じ文のベクトルを計算しました。ただし、モデルは 2 つの同じ文の両方に対して異なるベクトル埋め込みを生成するため、コサイン類似度は 1 ではなく、ユークリッド距離も 0 ではありません。BERT の場合、正常に動作します。例えば; もしも

モデル (XLNet) は、これら 2 つの文が似ていないと言っています。

Google Colab のサイトから simpletransformers の例を実行しようとしています。

例：

しかし、それは私に次のエラーを与えます:

VersionConflict: このモジュールが正常に機能するには tokenizers==0.9.4 が必要ですが、tokenizers==0.10.0 が見つかりました。試してください: pip installTransformers -U または pip install -e '.[dev]' git master を使用している場合

試してみまし!pip install transformers -Uた!pip install tokenizers==0.9.4 が、同じエラーが発生し続けます。以前にこのコードを実行したことがありますが、うまくいきましたが、今は前述のエラーが発生しています。

すでに「roberta-large-nli-stsb-mean-tokens」モデルをダウンロードしましたが、何度もダウンロードを開始します。注: これはスペースとは関係ありません。マシンにはスペースがあります。そして、このエラーが発生します... FileNotFoundError