1

私たちが知っているグラウンド トゥルースは、NLC または R&R を再トレーニングするために使用されます。

グラウンド トゥルースは、質問レベルのトレーニング データです。

例えば

「今日の気温は?,気温」

「今日はどのくらい暑いですか？」という質問。したがって、「温度」クラスに分類されます。

アプリケーションが起動すると、実際のユーザーからの質問が届きます。いくつかは同じです (つまり、実際のユーザーからの質問はグラウンド トゥルースの質問と同じです)、いくつかは類似した用語で、いくつかは新しい質問です。アプリケーションには、クラス (NLC の場合) または回答 (R&R の場合) が関連しているかどうかを知るためのフィードバック ループがあると仮定します。

About the new questions, the approach seems to just add the them to the ground truth, which is then used to re-train the NLC/R&R?
For the questions with similar terms, do we just add them like the new questions, or do we just ignore them, given that similar terms can also be scored well even similar terms are not used to train the classifier?
In the case of the same questions, there seems nothing to do on the ground truth for NLC, however, to the R&R, are we just increase or decrease 1 for the relevance label in the ground truth?

ここでの主な質問は、要するに、NLC と R&R の再トレーニング アプローチとは何かということです...

4

2 に答える 2

4

アプリケーションが公開されたら、フィードバック ログを定期的に確認して、改善の機会がないか確認してください。NLC の場合、正しく分類されていないテキストがある場合、それらのテキストをトレーニング セットに追加し、再トレーニングして分類子を改善できます。

分類子が許容可能な応答を返す限り、クラスの考えられるすべてのバリエーションをキャプチャする必要はありません。

ログからクラスの追加の例を使用して、トレーニング セットに含まれていないテキストのテスト セットを組み立てることができます。変更を行ったときにこのテスト セットを実行すると、変更が誤ってリグレッションを引き起こしたかどうかを判断できます。このテストは、REST クライアントを使用して分類子を呼び出すか、Beta Natural Language Classifier ツールキットを介して実行できます。

于 2016-05-09T11:38:03.287 に答える
0

A solid retraining approach should be getting feedback from live users. Your testing and validation of any retrained NLC (or R&R for that matter) should be guided by some of the principles that James Ravenscroft has outlined here (https://brainsteam.co.uk/2016/03/29/cognitive-quality-assurance-an-introduction/).

The answer by @davidgeorgeuk is correct, but fails to extend the thought to the conclusion that you are looking for. I would have a monthly set of activities where I would go through application logs where REAL users are indicating that your not classifying things correctly, and also incorporate any new classes to your classifier. I would retrain a second instance of NLC with the new data, and go through the test scenarios outlined above.

Once you are satisfied that you have IMPROVED your model, I would then switch my code to point at the new NLC instance, and the old NLC instance would be your "backup" instance, and the one that you would use for this exercise the next month. It's just applying a simple DevOps approach to managing your NLC instances. You could extend this to a development, QA, production scenario if you wanted.

于 2016-05-09T13:37:58.307 に答える