machine-learning - 決定木 (C4.5 など) はノンパラメトリック学習と見なされますか?

Question

私は機械学習に比較的慣れておらず、意思決定ツリーの誘導を物事の壮大な計画に取り入れようとしています。デシジョン ツリー (たとえば、C4.5 または ID3 で構築されたもの) は、パラメトリックまたはノンパラメトリックと見なされますか? 実際の値の決定分岐点は、平均値などの特徴値の分布から決定される可能性があるため、実際にはパラメトリックである可能性があると思います。ただし、すべての元のトレーニング データを保持しなければならないというノンパラメトリックの特性は共有していません (kNN の場合のように)。

Answer 1

「パラメトリック」という用語は、データの分布を定義するパラメーターを指します。C4.5 などの決定木は、データの分布に関する仮定を行わないため、ノンパラメトリックです。ガウス最尤分類 (GMLC) は、データが多変量ガウス分布に従うことを前提としているため、パラメトリックです (クラスは平均と共分散によって特徴付けられます)。最後の文に関して言えば、トレーニング データの保持 (インスタンス ベースの学習など) は、すべてのノンパラメトリック分類器に共通しているわけではありません。たとえば、人工ニューラル ネットワーク (ANN) はノンパラメトリックと見なされますが、トレーニング データは保持されません。