問題タブ [entropy]

相互情報量利得を分割関数として使用して、バイナリ分類ツリーを構築しています。ただし、トレーニング データは少数のクラスに偏っているため、各トレーニング例を逆クラス頻度で重み付けすることをお勧めします。

トレーニング データに重みを付けるにはどうすればよいですか? エントロピーを推定する確率を計算する場合、加重平均を使用しますか?

編集:重みを使用したエントロピーの式が欲しいです。

どういうわけか株式市場のデータを圧縮するタスクがあります...データは、毎日の株価が1行で示されるファイルにあります...したがって、これは非常に大きなファイルです。

例 ：
123.45
234.75
345.678889.56
....。

ここで問題となるのは、ハフマンまたは算術コーディングやLZコーディングなどの標準アルゴリズムを使用してデータを圧縮する（冗長性を減らす）方法です...この種のデータにはどちらのコーディングが最も適していますか?? ...

最初のデータを取得してから、連続する各データ間の差を考慮すると、差の値に多くの繰り返しがあることに気付きました...これは、最初にこれらの差を取得し、それらの頻度、したがって確率を見つけてから、ハフマンコーディングを使用するのが方法でしょうか??...

私は正しいですか？...誰かが私にいくつかの提案をすることができますか？

私はLinuxを使用しており、アドレス空間配置のランダム化があります。スタック上でバッファーを宣言し、初期化せずに残してエントロピーに使用する必要がありますか、それとも、スタック上にすでにあるアドレスを取得して整数にキャストし、（それがいくらかランダムであることがわかっているため）空間配置のランダム化に対処するには）代わりにその整数をエントロピーに使用しますか？

ポインタアプローチには、単一化されたバッファを操作しようとしたときにコンパイラの警告が生成されないという利点がありますが、私のテストでは、アドレスの下位部分（おそらく最後の1バイトまたは2バイト）のみが変更されるように見えました呼び出しから呼び出しへ。エントロピーバッファのパフォーマンスはさらに悪化しているようで、多くの場合、何も含まれていません。

Linux では、 はどのくらいランダムなの/dev/urandom/でしょうか? 安全と見なされますか？

また、1 のストリームを取得することは可能ですか?

ユーザーが暗号化されたコンテンツをダウンロードできる WPF アプリがあり、このコンテンツをオフラインで復号化する機能を提供したいと考えています。キーをダウンロードして DPAPI を使用して保存するという考えですが、エントロピー パラメータに問題があります。

ハードコーディング/保存せずに DPAPI 関数に一貫して使用するエントロピーを生成する方法はありますか?

ありがとうトニー

そのため、DPAPI を使用して対称キーを保存しようとしています。すべてはうまくいっていますが、エントロピーをどうするのでしょうか? この回答済みの質問は、実際には十分な洞察を提供していません。滑りやすい坂道のように思えます - マシン ストアを使用してエントロピーを保存することもできますが、誰かがそれを行うのを妨げるものは何ですか? 注: ユーザー スコープを使用して現在のキーを保存しています。

だから私の質問は - DPAPI を使用してエントロピーを格納する最良の方法は何ですか?

私は、開発者の高い離職率を経験した多くの Web プロジェクトを継承してきました。場合によっては、これらの Web プロジェクトは、応急処置ソリューションの恐ろしい寄せ集めです。また、それぞれが異なるアーキテクチャ スタイルで構築された、半分完成した機能のやや保守可能なモザイクである場合もあります。私がこれらのプロジェクトを引き継ぐたびに、前の開発者がなぜ事態が悪化したのかを説明してくれたらいいのにと思います。

私を困惑させているのは、所有者（マネージャー、中間業者、またはクライアントのいずれか）の反応です。彼らは、「まあ、あなたが去ったら、あなたは消耗品だから、別の開発者を見つけるだろう」と考えているようです。あるいは、「システムをリファクタリングするのにそれだけの費用がかかるのでは? 半額でできる別の開発者を知っています。あなたを買う余裕がなければ、彼を雇います」と考えます。開発者の離職率が高いのは、「私のアイデアは常に素晴らしいアイデアであり、同意しない場合は、同意してくれる別の (おそらくより安い) 開発者を見つける」という所有者の考え方に関連していると推測しています。私が欲しいもの」。オーナーにとっては、ビジネスが順調に進んでいるため、このアプローチはうまくいっているようです。残念ながら、それは'

だから私の質問は次のとおりです。

プロジェクトの次の症状は、ビジネスにとって本当に悪いことですか?

• 開発者の離職率が高い

• 不十分に構築されたテクノロジー - 多くの場合、不適切に使用されたさまざまなアーキテクチャ スタイルの寄せ集め

• Web プロジェクトの明確なロードマップがなく、気まぐれに機能を要求する所有者

私は多くの企業が上記の症状で繁栄しているのを見てきました. したがって、プログラマーとして、私の本能は上記の点がひどいと教えてくれますが、一歩下がって、「物事の壮大な計画の中で本当にそんなに悪いことなのか?」と尋ねる必要があります。 そうでない場合は、これらのプロジェクトへのアプローチを再評価します.. 長期的なソリューションと一時的なソリューションのどちらを構築しますか?

** この投稿はプログラミングに関係のないものとして閉じられる危険を冒して、この質問への回答が開発者がプロ​​ジェクトにアプローチする方法に影響を与えるため、プログラミングに関連していると思います。彼は、いつ辞める可能性があるかを知っていれば、どのくらい前に開発を計画する (つまり、短期的または長期的なソリューションを構築する) べきかについて、より良い感覚を得ることができます。

誰かがこのエントロピーの問題について私にいくつかの指針を与えることができることを願っています。

Xは、均一な整数分布0〜32（両端を含む）からランダムに選択されます。

各Xiの発生確率は等しいため、エントロピーH（X）=32ビットを計算します。

ここで、次の擬似コードが実行されるとします。

int r = rand（0,1）; //ランダムな整数0または1

r = r * 33 + X;

2つの変数rとXの間の相互情報量をどのように計算しますか？

相互情報量はI（X; Y）= H（X）-H（X | Y）として定義されますが、条件付きエントロピーH（X | Y）をこの問題に適用する方法がよくわかりません。

ありがとう

これを行うための標準的な方法はありますか？

グーグル（「近似エントロピー」ビット）は複数の学術論文を明らかにしますが、任意の長さの特定のビット文字列の近似エントロピーを定義する擬似コードのチャンクを見つけたいと思います。

（これは言うのが簡単で、アプリケーションによって異なる場合、私のアプリケーションには16,320ビットの暗号化データ（暗号文）が含まれます。しかし、パズルとして暗号化されており、解読することは不可能ではありません。最初に確認したいと思います。エントロピーですが、そのような適切な定義を簡単に見つけることができませんでした。したがって、StackOverflowにあるべき質問のようでした！16kのランダムに見えるビットの暗号化を解除することから始めるアイデアも歓迎します...）

この関連する質問も参照してください：
エントロピーのコンピュータサイエンスの定義は何ですか？

バイナリ文字列の統計的ランダム性を判断するにはどうすればよいですか?

エルゴ、自分のテストをコーディングして、統計的ランダム性に対応する単一の値、0 から 1.0 までの値 (0 はランダムではなく、1.0 はランダム) を返すにはどうすればよいでしょうか?

テストは、任意のサイズのバイナリ文字列で機能する必要があります。

ペンと紙でそれを行う場合、次のような文字列を調べることができます:
  0 (任意のランダム性、他の選択肢は 1 のみ)
  00 (ランダムではなく、繰り返しであり、サイズに一致します)
  01 (より良い、2 つの異なる値)
  010 (ランダム性が低く、パリンドローム)   011
  (ランダム性が低く、1 が多い、それでも許容範囲   )

ケース例:

サイズ: 1、可能性: 2
  0: 1.0 (ランダム)
  1: 1.0 (ランダム)

サイズ: 2、P:4
  00: ?
  01: 1.0 (ランダム)
  10: 1.0 (ランダム)
  11: ?

S:3, P:8
  000: ? non-random
  001: 1.0 (random)
  010: ? less random
  011: 1.0 (random)
  100: 1.0 (random)
  101: ? less random
  110 1.0 (random)
  111: ? non-random

And so on.

I feel that this may play a lot into breaking the string into all possible substrings and comparing frequencies, but it seems like this sort of groundwork should already have been done in the early days of computer science.