class - クラスの重複についてデータセットを評価する方法

Question

私はWekaを使用して、医学的問題の分類器を開発しています。このデータセットにはクラスの不均衡な状況があり、クラスの重複の問題もあるかどうかを知りたいです。各レコードには30個の属性がありますが、Weka機能を使用してクラスが重複しているかどうかを確認するにはどうすればよいですか？

Answer 1

クラスの重複は、異なるクラスの一部のサンプルが非常に類似した特性を持つ場合に発生します

1. データセットをクラスター化します。
2. インスタンスが同じクラスターに属している場合、それらは非常に似ています。
3. 次に、実際のクラスメンバーシップを使用してエラー率を見つけます。
4. インスタンスが同じクラスターに属していても、それらのクラスが異なる場合は、求めているものが見つかります。

Answer 2

クラスの不均衡の問題を解決するには、SMOTEを使用できます。これは、Wekaの監視対象フィルター（インスタンス）にあります。しかし、クラスの重複とはどういう意味ですか？

Answer 3

「クラスの重複」という意味だと思います。異なるクラスに属する同様のインスタンスが存在します。簡単に、それらを削除することができます。awkでは、次のことができます。

awk '!NF || !seen[$0]++' inputFile > outputFile