問題タブ [torchtext]

一般的に言えば、Pytorch でテキスト RNN モデルのトレーニングに成功した後、PytorchText を使用して元のソースでのデータ読み込みを活用した後、別のソースからの他のデータ セット (一種の瞬きテスト) でテストしたいと思いますが、同じです。テキスト形式。

最初に、データの読み込みを処理するクラスを定義しました。

load_dataこれは、正常にトレーニングされたデータをロードした詳細です。

load_data_but_error次は他のソースをロードするための私のコード（ ）ですが、エラーが発生します

コードを実行しているときに、ここAttributeError: 'Field' object has no attribute 'vocab'に質問があるエラーが発生しましたが、ここに語彙があり、まばたきテストに使用したいので、私の状況は好きではありません。load_data

私の質問は、現在のモデルをテストするためにトレーニング済みの PyTorch モデルを使用して新しいデータをロードおよびフィードする正しい方法は何ですか?

最近、PyTorch を使用して ML/DL を開始しました。次の pytorch の例は、ドイツ語から英語に翻訳するための単純なモデルをトレーニングする方法を説明しています。

https://pytorch.org/tutorials/beginner/torchtext_translation_tutorial.html

ただし、カスタム入力で推論を実行するためにモデルを使用する方法について混乱しています。これまでの私の理解から：

1) ドイツ語 (入力) と英語 (出力) の両方の「語彙」を [torch.save() を使用して] 保存して、後で予測を実行するために使用できるようにする必要があります。

2) ドイツ語の段落で推論を実行するとき、最初にドイツ語の語彙ファイルを使用してドイツ語のテキストをテンソルに変換する必要があります。

3) 上記のテンソルは、変換のためにモデルの forward メソッドに渡されます

4) モデルは、目的の言語、つまり現在の例では英語のテンソルを再び返します。

5) 最初のステップで保存した英語の語彙を使用して、このテンソルを英語のテキストに変換します。

質問:

1) 上記の理解が正しければ、ソース言語と宛先言語が分かっていて、同じ語彙ファイルがある場合、上記の手順を任意の言語翻訳モデルで推論を実行するための一般的なアプローチとして扱うことができますか? それとも、スペイシーのようなサードパーティのライブラリが提供する語彙を使用できますか?

2) モデルから返された出力テンソルをターゲット言語に変換するにはどうすればよいですか? それを行う方法の例が見つかりませんでした。上記のブログでは、ソース言語の語彙を使用して入力テキストをテンソルに変換する方法について説明しています。

イメージ/ビジョン モデルのさまざまな例と詳細な説明を簡単に見つけることができましたが、テキストについてはあまり見つかりませんでした。