0

今、私は識別する 12 の意図を持っています。,しかし、各意図のデータの量は一貫していません。,会議の設定のように、これらの意図を思い出させると、データの量は数千になります。しかし、挨拶のように、そのような意図をありがとう、非常に少数です。データ サンプルは、おそらく数十個です。

このデータの不均衡の問題にどのように対処すればよいですか?

私の config.yml ファイルの内容は次のとおりです。

language: en

pipeline:
  - name: "WhitespaceTokenizer"
  - name: "RegexFeaturizer"
  - name: "CountVectorsFeaturizer"
    analyzer: char_wb
    min_ngram: 2
    max_ngram: 5
    stop_words: "english"
  - name: "CRFEntityExtractor"
  - name: "extractor.regex.RegexEntityExtractor"
  - name: "EmbeddingIntentClassifier"
    epochs: 100
    num_neg: 2
  - name: "DucklingHTTPExtractor"
    url: "http://localhost:8000"
    dimensions: ["time", "duration", "phone-number", "distance"]

policies:
  - name: MemoizationPolicy
  - name: EmbeddingPolicy
    epochs: 20
  - name: FormPolicy
  - name: MappingPolicy
  - name: FallbackPolicy
    fallback_action_name: "action_default_fallback"
4

2 に答える 2