0

一般的に言えば、Pytorch でテキスト RNN モデルのトレーニングに成功した後、PytorchText を使用して元のソースでのデータ読み込みを活用した後、別のソースからの他のデータ セット (一種の瞬きテスト) でテストしたいと思いますが、同じです。テキスト形式。

最初に、データの読み込みを処理するクラスを定義しました。

class Dataset(object):
    def __init__(self, config):
        # init what I need

    def load_data(self, df: pd.DataFrame, *args):
        # implementation below
        # Data format like `(LABEL, TEXT)`

    def load_data_but_error(self, df: pd.DataFrame):
        # implementation below
        # Data format like `(TEXT)`

load_dataこれは、正常にトレーニングされたデータをロードした詳細です。

TEXT = data.Field(sequential=True, tokenize=tokenizer, lower=True, fix_length=self.config.max_sen_len)
LABEL = data.Field(sequential=False, use_vocab=False)

datafields = [(label_col, LABEL), (data_col, TEXT)]

# split my data to train/test
train_df, test_df = train_test_split(df, test_size=0.33, random_state=random_state)

train_examples = [data.Example.fromlist(i, datafields) for i in train_df.values.tolist()]
train_data = data.Dataset(train_examples, datafields)

# split train to train/val
train_data, val_data = train_data.split(split_ratio=0.8)

# build vocab
TEXT.build_vocab(train_data, vectors=Vectors(w2v_file))
self.word_embeddings = TEXT.vocab.vectors
self.vocab = TEXT.vocab

test_examples = [data.Example.fromlist(i, datafields) for i in test_df.values.tolist()]
test_data = data.Dataset(test_examples, datafields)

self.train_iterator = data.BucketIterator(
            (train_data),
            batch_size=self.config.batch_size,
            sort_key=lambda x: len(x.title),
            repeat=False,
            shuffle=True)

self.val_iterator, self.test_iterator = data.BucketIterator.splits(
    (val_data, test_data),
    batch_size=self.config.batch_size,
    sort_key=lambda x: len(x.title),
    repeat=False,
    shuffle=False)

load_data_but_error次は他のソースをロードするための私のコード（ ）ですが、エラーが発生します

TEXT = data.Field(sequential=True, tokenize=tokenizer, lower=True, fix_length=self.config.max_sen_len)
datafields = [('title', TEXT)]

examples = [data.Example.fromlist(i, datafields) for i in df.values.tolist()]
blink_test = data.Dataset(examples, datafields)

self.blink_test = data.BucketIterator(
    (blink_test),
    batch_size=self.config.batch_size,
    sort_key=lambda x: len(x.title),
    repeat=False,
    shuffle=True)

コードを実行しているときに、ここAttributeError: 'Field' object has no attribute 'vocab'に質問があるエラーが発生しましたが、ここに語彙があり、まばたきテストに使用したいので、私の状況は好きではありません。load_data

私の質問は、現在のモデルをテストするためにトレーニング済みの PyTorch モデルを使用して新しいデータをロードおよびフィードする正しい方法は何ですか?

4

2 に答える 2

1

私が必要なのは

  1. クラス変数に割り当てて保持TEXTしload_data、再利用するload_data_but_error
  2. 関数train=Trueのオブジェクトdata.BucketIteratorに追加load_data_but_error
于 2019-10-29T19:25:21.803 に答える