machine-learning - spacy-pytorch-transformers: トレーニング中に常に損失 = 0

Question

テキスト分類器をトレーニングするためにspacy 2.1.8andを使用しています。spacy-pytorch-transformers 0.4.0私のコードは彼らの例から強くインスピレーションを受けていますが、モデルは何も学習していません。これは、損失が常に 0 であることが原因のようです。私のコードの最小の（動作しない）例は次のとおりです。

nlp = spacy.load("en_pytt_xlnetbasecased_lg")
textcategorizer = nlp.create_pipe("pytt_textcat", config={"exclusive_classes": True, "architecture": "softmax_last_hidden"})

for label in labels:
    textcategorizer.add_label(label)
nlp.add_pipe(textcategorizer, last=True)

optimizer = nlp.resume_training()

for epoch in range(num_of_epochs):
    np.random.shuffle(train)
    losses = Counter()

    for step, batch in enumerate(minibatch(train, size=batch_size)):
        optimizer.pytt_lr = 0.005
        texts, cats = zip(*batch)
        _, cats = preprocessed_labels_to_categories_for_training_and_eval(cats)

        nlp.update(texts, cats, sgd=optimizer, losses=losses, drop=0.1)

catsやなどの関連する変数にtexts有効で正しい値が含まれていることを、すでに 2 重および 3 重にチェックしました。

足りないものはありますか？