問題タブ [entropy]

平均と偏差のSumamryStatisticsに似た離散値のストリームでエントロピーを評価する方法はありますか? リアルタイムの solr コンポーネントにこのアルゴリズムが必要です。おそらく、大規模なドキュメント コレクション (100,000) を反復処理します。

関連する質問、Map Reduce のような環境でエントロピーを計算する最良の方法は何ですか。

乱数ジェネレーターの正直さを保証するために、ユーザーは、必要に応じて、その数値が実際にエントロピーの公開ソースから生成されていることを確認できるという考え方です。これにより、システムは、サーバーが乱数を選択できなかったことをユーザーに確認できます。

私の質問は次のとおりです。文字列に連結してmd5にフィードできる、エントロピー（好ましくは不変で混沌とした）で絶対的に参照可能ないくつかの優れた公開ソースは何ですか？いくつかのアイデアは、特定の株価、温度（正直な情報源から）、ビットコインブロックチェーンに含まれるハッシュです...

序章

私は自分の Web サイトの「賞品コード」システムで作業しています。管理者はクレジットをユーザーに割り当てて、ユーザーが引き換えることができるコードを与えることができます。
アイデア自体は非常に簡単に実装できます。コードを生成し (アルゴリズムはほとんど予測できないと仮定します)、安全なデータベースに保存し、管理者が 1 つのランダムなコードを読み取ることができるようにします。しかし、私が望むいくつかの機能が衝突することがわかりました:

1. コードは、合理的な計算能力を備えた攻撃に対して合理的に抵抗する必要があります。
2. 100 万という多数のコードが必要です。
3. コードは簡単に入力できる必要があります。

今まで、これらの解決策を考えていました：

しばらく考えた後、私はこの解決策を思いつきました: N 単語のフレーズを使用します [「n」単語について話しているのではありません。つまり、「ランダムな単語の N 回」]。これは良い考えのようですが、私はこの分野の経験がありません。

質問1

コードにフレーズを使用しても安全ですか? はいの場合、十分に安全であるためには何語を使用する必要がありますか? [平均的な長さと 8 歳の子供が知っている単語を仮定します。]

質問2

与えられた単語のリストをデータベースに保存する最良の方法は何ですか?

• デスクトップ側で、目的のフレーズを含むファイルを生成し、PHP を使用してそれらを読み取ってデータベースに入れますか?
• サーバー側で、単語のリストを読み取り、フレーズをデータベースに直接書き込みますか?
• 他の方法？

データベースを使用するよりもコーディングが難しいため、管理者にフレーズ ファイルを読み取らせることはできません。また、単語は一般的なイタリア語でなければならないことに注意してください。使用される単語は 4,000 から 6,000 と見積もっています。

MySQL データに基づいて配列のハッシュを生成するプログラムがあります。各配列には数値が含まれています。Perl を使用して、各配列のエントロピーを生成し、結果を別の MySQL テーブルに出力するにはどうすればよいですか? 新しいテーブルには次の列が含まれている必要があります。

配列のハッシュを生成する現在のプログラムは次のとおりです。

Excelにマトリックスがあります。行を正規化し、各行のエントロピーを計算する必要があります (確率分布と見なします)。

たとえば、私の行列が次のとおりであるとします。

行の正規化後、行列は次のようになります。

各行が確率分布であると仮定すると、各行のエントロピーは次のようになります。

中間の行正規化行列を生成せずに上記のエントロピー値を計算したい。

Excelでこれを行うことは可能ですか？

注: 確率分布のエントロピーは次のように定義されます。

Matlabのhistと関数の違いは何ですか? imhist画像から読み込まれた色レベル値のマトリックスがありimread、ヒストグラムを使用して画像のエントロピー値をカウントする必要があります。
結果のマトリックスを使用imhistすると、最後のもの（右下）を除くすべての場所にゼロが含まれます。これには、高い値の数（数千程度）が含まれます。その出力が間違っているように見えるため、代わりに hist を使用しようとしましimhistたが、結果の値ははるかに優れており、マトリックスはゼロではなく正しい外観の値で満たされています。
ただし、ドキュメントによると、imhistこの場合はより良いはずでありhist、奇妙な結果が得られるはずです..
残念ながら、私は Matlab が得意ではないため、問題の詳細を説明することはできません。ただし、将来的に他の情報を追加することができます。

だから私は私の問題をよりよく説明しようとします..私はエントロピーと他のいくつかの値を数えるべき画像を持っています(その画像を保存するのにどれくらいのバイトが必要ですか..)。私はこの関数を書きましたが、かなりうまく機能します

次に、同じ数をカウントする必要がありますが、互いに下にあるピクセルから「ペア」を作成する必要があります。したがって、行の半分と同じ数の列しかありません。すべての一意のピクセル ペアを異なる数として表現する必要があるため、最初のピクセル ペアに 1000 を掛けて、2 番目のピクセル ペアを追加しました。その後、最初の例と同じ関数を実際に適用する必要がありますが、それはimhist関数から奇妙な数値を取得している時間。hist を使うと問題ないように見えますが、実際には動作が正しいとは思えないので、どこかの私のエラーに違いありません。私は実際に自分がやりたいことをかなりよく理解しています、または少なくともそう願っていますが、残念ながらMatlabは私にとってそのようなことをすべて難しくしています:)

任意のシンボルをビット文字列にエンコードしようとしていますが、それらを生成したり、それらを含むビット文字列をデコードしたりする方法がよくわかりません。

圧縮する任意のシンボルに取り組みたいのですが、一意にデコード可能なコードが探しているものなのか、おそらく算術コードなのか正規のハフマンコードなのかよくわかりません。

任意のサイズのシンボル テーブルについて、最も頻度の高いものから最も頻度の低いものまでを示すビット文字列のリストが必要なだけです。

Mathematica プログラムでエントロピー計算を行っていますが、この規則を使用したいと考えてLog[0]*0 = 0.います。それを行うためのクリーンな方法はありますか、それとも独自の関数を作成する必要がありますか?

http://tinyurl.com/9d8r4rtに触発されて、次のようなことを試しました：

しかし、私の場合はうまくいかないようです。これを行うエレガントな方法はありますか？

最近、Linux サーバーのエントロピーが低くなりすぎて、/dev/urandom の読み取りが期待されるバイト数よりも少ない値を返したときに、適切に処理できないというバグがありました。

これをテストで再現するにはどうすればよいですか? システムのエントロピーを下げる方法や、確実に /dev/urandom を空にする方法はありますか?

修正を検証する回帰テストを実行できるようにしたいと考えています。Ubuntu 12.04 を使用しています。

ここhttp://www.gossamer-threads.com/lists/linux/kernel/1210167で質問がありましたが、答えが見つかりません。

AFAIK / proc / sys / kernel / random / entropy_availは、使用可能なエントロピーのサイズを返す必要がありますが、それを消費するべきではありません。少なくともその理由はわかりません。

しかし、私は少なくとも1年前からOPと同じことに気づいていて、今では次々と実行しました。

しばらくして同じ結果で同じことをしたので、エントロピーの枯渇はcatコマンドによって引き起こされていると確信しています。

なぜこれが起こるのか誰かが説明できますか？