2

位相空間をAlphaパーティションに分割するとき、その分割がどれほど優れているかを見つけることを目的としています。この観点から、ソースエントロピーを見つける必要があります。今、私はたくさんグーグルで検索しましたが、ソースエントロピーが何であるかを知ることができませんでした。誰でも説明できますか：

  • シャノンのエントロピーはソースエントロピーとどのように異なり、ソースエントロピーを実装する方法は？

  • チャネル容量を計算する方法は？以下は、データxのシャノンのエントロピーを計算するためのコードです。チャネル容量を計算するために次のコードを変更すると、私は義務付けられます。

x = x(1:end);
    if nargin == 1        
        p = freq(double(x));
    else
        if numel(x) ~= numel(y)
            e = -1;
            warning('Sizes of vector do not match.');
            return;
        end
        y = y(1:end);
        p = joint_freq(double(x), double(y));
    end

    % Compute Shannon entropy
    xlogy(repmat(256, [length(p) 1]), p);
    e = -sum(p .* xlogy(repmat(256, [length(p) 1]), p));
  • あまり技術的でない専門用語でのコルゴモロフエントロピーとシャノンのエントロピーの違いは何ですか？コルゴモロフの複雑さによって返される複雑さの数の重要性/意味を理解することは混乱を招きます。
4

1 に答える 1

3

最初に最後の質問に答えると、コルモゴロフエントロピーは、システムがとることができる可能な軌道のエントロピーです。つまり、システムの可能な進化の「ランダム性」の尺度です。一方、シャノンエントロピーは、システムの状態のランダム性の尺度です。の複数の軌道ではなく、と比較xしているという事実から、シャノンエントロピーを計算する必要があるように見えます。yxy

多くの場合、相互情報量と呼ばれるものを計算する必要があります。これは、信号を他の信号に条件付けしたときに、信号のエントロピーまたは「ランダム性」がどれだけ減少するかの尺度です。上記のコードの場合、にあるエントロピーのx量、またはx与えられたにあるエントロピーの量を測定しようとしていyます。xこれら2つの値の違いは、を知ることでどれだけわかったかyです。これを相互情報量と呼びます。または、最初に見ているシリーズの時間の長さで割ると、チャネル容量と呼ばれます。y（ソースエントロピーは、が「ソース」であると仮定すると、のエントロピーになりyます）。

あなたのコードにはいくつかの問題があり、の実装を知らなければ、それらが何であるかを正確に知ることはできませんjoint_freq。x与えられたエントロピーを計算するには、同時y確率分布の2D行列を取得し、現在のx方向のエントロピーの合計を計算する必要がありますが、残りの次元に沿った平均も取得します。

于 2012-07-20T12:19:56.873 に答える