以下のリンクにあるコードを実行しています。Python の ktrain パッケージがバート テキスト分類に使用する埋め込みは何ですか。コードは事前にトレーニングされた Bert のモデルを使用していると思います。つまり、bert 埋め込みと入力埋め込みを組み合わせます。モデルへの埋め込みでは、指定された入力テキストも考慮されますか
コードの関連部分
import ktrain
from ktrain import text
x_train, y_train), (x_test, y_test), preproc = text.texts_from_array(x_train=x_train, y_train=y_train,
x_test=x_test, y_test=y_test,
class_names=train_b.target_names,
preprocess_mode='bert',
ngram_range=1,
maxlen=350,
max_features=35000)
model = text.text_classifier('bert', train_data=(x_train, y_train), preproc=preproc)
learner = ktrain.get_learner(model, train_data=(x_train, y_train), batch_size=6)
https://github.com/amaiya/ktrain/blob/master/examples/text/20newsgroups-BERT.ipynb