問題タブ [huggingface-transformers]

次の 2 つの文を考えてみましょう。

それでは、トークン化してデコードしましょう。

我々が得る：

私の質問は、smiths'houseのような所有格で不足しているスペースをどのように扱うかです。

私にとっては、トランスフォーマーでのトークン化のプロセスが正しく行われていないようです。の出力を考えてみましょう

我々が得る：

したがって、このステップでは、最後のアポストロフィに関する重要な情報がすでに失われています。トークン化が別の方法で行われた場合は、はるかに優れています。

このように、トークン化はアポストロフィに関するすべての情報を保持し、所有格の問題は発生しません。

通常、Transformers トークナイザーは入力を辞書としてエンコードします。

また、大規模なデータセットでより優れたパフォーマンス処理をアーカイブするにDataset.mapは、入力データセットの各要素にトークナイザー関数を適用するための使用を含むパイプラインを実装することをお勧めします。Tensorflow チュートリアルで行ったのとまったく同じ: Load text。

ただし、tf.py_function(map python 関数をラップするために使用される) は、上記のようにテンソルの辞書を返すことをサポートしていません。

たとえば、Load テキストのトークナイザー (エンコーダー)が次の辞書を返す場合:

テンソルの目的の辞書を取得するためにTout、誰かがのパラメータをどのように設定できますか:tf.py_function

?