machine-learning - ベイジアン線形回帰と線形回帰を比較する

Question

最近、ベイジアン線形回帰モデルを学びましたが、どのような状況で線形回帰を使用する必要があるのか​​、いつベイジアン バージョンを使用するのかについて混乱しています。この2人のパフォーマンスはどうですか？ベイジアンロジスティック回帰とロジスティック回帰は同じですか? ベイジアン プロビット回帰を使用して広告の CTR を予測することに関する論文を読みましたが、なぜベイジアン バージョンを使用するのだろうか?

Answer 1

線形回帰とロジスティック回帰の2つのケースでは、ベイズバージョンはベイズ推定のコンテキスト内で統計分析を使用します（例：ベイズ線形回帰） 。

ウィキペディアごとに、

これ（通常の線形回帰）は頻度主義的アプローチであり、意味のあることを言うのに十分な測定値があることを前提としています。ベイジアンアプローチでは、データは事前​​確率分布の形式で追加情報で補足されます。パラメータに関する事前の信念は、ベイズの定理に従ってデータの尤度関数と組み合わされ、パラメータに関する事後の信念が得られます。

ベイジアン分析の通常の方法（ベイジアンテイストを追加）：

1. データの尤度関数を計算します。
2. すべての未知のパラメーターに対する事前分布を選択します。
3. ベイズの定理を使用して、すべてのパラメーターの事後分布を見つけます。

なぜベイジアンバージョンなのか？^[1]

• ベイジアンモデルはより柔軟で、より複雑なモデルを処理します。
• ベイズモデルの選択はおそらく優れています（BIC / AIC）。
• ベイズ階層モデルは、多くのレベルに簡単に拡張できます。
• 哲学的な違い（頻度論的分析と比較して）。
• 小さなサンプルではベイズ分析がより正確になります（ただし、事前確率に依存する場合があります）。
• ベイジアンモデルは事前情報を組み込むことができます

これは、ベイズ分析に関するいくつかの優れた講義スライドをホストします。