X と Y の 2 つの行列があります (ほとんどの場合、それらは類似しています)。ここで、すべての行間のペアワイズ KL ダイバージェンスを計算し、それらを行列で出力したいと考えています。例えば：
X = [[0.1, 0.9], [0.8, 0.2]]
次に、関数はkl_divergence(X, X)、両方の X 行列の行の各ペアについて、ペアごとの Kl 発散距離を取得して計算する必要があります。出力は 2x2 マトリックスになります。
すでに Python でこれを実装していますか? そうでない場合、これは非常に簡単に計算できるはずです。大量のデータがあり、ランタイムをできるだけ低く保つ必要があるため、これにはある種のマトリックス実装が必要です。あるいは、Jensen-Shannon エントロピーも問題ありません。最終的に、これは私にとってより良い解決策になるでしょう。
KL ダイバージェンスは、基本的に P(i) と log(P(i)/Q(i)) のドット積であることに注意してください。したがって、1 つのオプションは、P(i) と log(P(i)/Q(i)) のnumpy配列のリストを作成し、計算する KL 発散ごとに 1 つの行を作成し、ドット積を実行することです。 .
JSDが実装されたditと呼ばれる新しい（っぽい）ライブラリと、相互情報量およびその他の多くの距離メトリックがあります。
import dit
foo = dit.Distribution(['A','B','C'],[0.5,0.5,0.0])
bar = dit.Distribution(['A','B','C'],[0.1,0.0,0.9])
dit.divergences.jensen_shannon_divergence([foo,bar])
0.80499327350549388
ドキュメントは少し手間がかかるかもしれませんが、有望に見えます。