私は今、機械学習を独学しています。
情報取得に関する簡単な質問です。写真のデータから情報利得を計算する方法は? 私はこれを理解できません。
最初の行から 0.992385 を取得する方法を誰か説明できますか?
どうもありがとう!
私は今、機械学習を独学しています。
情報取得に関する簡単な質問です。写真のデータから情報利得を計算する方法は? 私はこれを理解できません。
最初の行から 0.992385 を取得する方法を誰か説明できますか?
どうもありがとう!
g(x) = -x * log(x) /log(2) とする
総人数は48842人。
H(富、関係) = g[52/48842] + g[111/48842] + g[309/48842] + g[1093/48842] + g[1238/48842] + g[1276/48842] + g [1454/48842] + g[4816/48842] + g[7470/48842] + g[8846/48842] + g[10870/48842] + g[11307/48842] = 2.7835
H(富) = g(貧しい/合計) + g(金持ち/合計) = g[0.239282] + g[0.760718] = 0.793844
H(関係) = g(夫/合計) + g(非家族/合計) + ... = g[0.0308341] + g[0.0477253] + g[0.10493] + g[0.155215] + g[0.257627] + g[ 0.403669] = 2.15508
H(富 | 関係) = H(富、関係) - H(関係) = 2.7835 - 2.15508 = 0.628421
IG = H(富) - H(富|関係) = H(富) + H(関係) - H(富、関係) = 0.165423
以下は Mathematica で書かれたソースコードです。ソース コードを別の言語で表示する必要があると思われる場合は、ご希望の言語を下にコメントとして投稿してください。時間があれば、タイプアップします。- 乾杯、ハンス
Mathematica のソースコード
(* =============================================== === *)
m = {{10870, 8846}, {11307, 1276}, {1454, 52}, {7470, 111},
{4816, 309}, {1238, 1093}};
iTot = Total[ Flatten[m]];
h[x_] := -x * Log[2, x];
fHAll = Sum[ h[ m[[i, j]]/ iTot ], {i, 6}, {j, 2}] // N;
fHWealth = h[ Total[ m[[All, 1]]]/iTot] + h[ Total[ m[[All, 2]]]/iTot] // N ;
fHRelation = Sum[
h[ Total[ m[[i ]]]/iTot] , {i, Length[m]}] // N;
fWealthGivenRelation = fHAll - fHRelation;
Print[" H(relation, wealth) = ", fHAll];
Print[" H(relation) = ", fHRelation];
Print[" H(wealth) = ", fHWealth];
Print[" H(wealth | relation) = ", fWealthGivenRelation];
Print[" IG = MI = ", fHWealth - fWealthGivenRelation, " = ",
fHWealth + fHRelation - fHAll];
(* ===================出力 ====================*)
H(relation, wealth) = 2.7835
H(relation) = 2.15508
H(wealth) = 0.793844
H(wealth | relation) = 0.628421
IG = MI = 0.165423 = 0.165423
おっと、私はあなたが主な質問であることに答えていませんでした。これが答えです。
H(財産 | 関係 = 夫) = g(10870/(10870 + 8846)) + g(8846/(10870 + 8846)) = 0.992385