誰かがこのエントロピーの問題について私にいくつかの指針を与えることができることを願っています。
Xは、均一な整数分布0〜32（両端を含む）からランダムに選択されます。
各Xiの発生確率は等しいため、エントロピーH（X）=32ビットを計算します。
ここで、次の擬似コードが実行されるとします。
int r = rand（0,1）; //ランダムな整数0または1
r = r * 33 + X;
2つの変数rとXの間の相互情報量をどのように計算しますか？
相互情報量はI（X; Y）= H（X）-H（X | Y）として定義されますが、条件付きエントロピーH（X | Y）をこの問題に適用する方法がよくわかりません。
ありがとう
これが宿題なら、ヒントを出します。(また、X ~ unif[0,31] と仮定するので、数値はうまくいきます。[0,31] ではなく [0,32] でよろしいですか?)
まず、H(X) の計算を確認します。H(X) = 5、32 ではありません。
第二に、式 r = 33r + X は意味がありません。さまざまな変数を使用してみましょう。
Y = 32R + X
3 番目に、R の確率分布を述べていません。0 と 1 の確率が等しいと仮定すると、H(R) = 1 になります。
あなたが言ったように、I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)。H(Y|X) を考えてみましょう。X が指定されている場合、つまり一定に保たれている場合、Y は R のみに依存しますよね? したがって、H(Y|X) = H(R) です。
最後に、全確率の法則を使用して、Y の確率分布を計算します (ヒント: これは単純なものです)。次に、H(Y) を計算し、最後に I(X;Y) を計算します。