statistics - 相互作用属性が線形回帰のパフォーマンスを向上させる理由

Question

線形回帰モデルを使用して Weka に取り組んでいます。データセットから 2 つの関連する属性を乗算し、これを追加の属性として追加することで、線形回帰のパフォーマンスが向上することに気付きました。しかし、私はその理由を理解できません！関連する 2 つの属性を乗算すると、より良い結果が得られる理由。

Answer 1

これは、近似している関数が元の入力では線形ではなく、その積では線形であることを示しています。実際には、多変量多項式回帰を再発明しました。

たとえば、近似している関数の形式がy = a × x ² + b × x + cであるとします。xのみに当てはめた線形回帰モデルは良い結果をもたらしませんが、x ² とxの両方を入力すると、正しいaとbを学習できます。

多変量設定でも同じことが言えます。関数はx ₁とx _{2 では}別々に線形ではないかもしれませんが、「相互作用属性」と呼ばれるx ₁ × x _{2では線形かもしれません。}(私はこれらをクロスプロダクト機能または機能結合として知っています。これらは SVM の多項式カーネルが計算するものであり、SVM が線形モデルよりも強力な学習者である理由です。)