10

情報理論は、エンコードとデコードが存在する場所で機能します。例：圧縮（マルチメディア）、暗号化。

情報理論では、「エントロピー」、「自己情報」、「相互情報量」などの用語に遭遇し、主題全体がこれらの用語に基づいています。これは抽象的なものに過ぎません。率直に言って、それらは実際には意味がありません。

これらのことを実際的な方法で説明している本/資料/説明（できれば）はありますか？

編集：

情報理論の紹介：ジョン・ロビンソン・ピアスによるシンボル、信号、ノイズは、私が望む方法で（実際に）それを説明する本です。その良すぎる。私はそれを読み始めました。

4

7 に答える 7

7

シャノンのオリジナル論文「コミュニケーションの数学的理論」は、この理論を研究するための非常に重要なリソースの1つです。誰もそれを見逃してはいけません。

それを読むことによって、シャノンがどのようにしてほとんどの疑問を解決するはずの理論に到達したかを理解するでしょう。

また、ハフマン圧縮アルゴリズムの仕組みを研究することは非常に役立ちます。

編集：

情報理論入門

ジョン・R・ピアス

アマゾンのレビューによると良さそうです（私はそれを試していません）。

[Googleの「情報理論素人」による]

于 2010-02-21T17:01:56.733 に答える
5

「情報理論」についての私自身の見解は、それは本質的に応用数学/統計であるが、それが通信/信号に適用されているので、それは「情報理論」と呼ばれているということです。

概念を理解し始めるための最良の方法は、自分自身に実際のタスクを設定することです。たとえば、お気に入りのブログの数ページをテキストファイルとして保存し、ファイルを完全に再構築できることを確認しながら、ファイルのサイズを縮小してみてください（つまり、可逆圧縮）。たとえば、とのすべてのインスタンスを1に置き換えます。

私はいつも意見を持っています行うことによって学ぶことが最善のアプローチになります

于 2010-02-21T17:26:36.957 に答える
1

コインを識別するためのID3のバージョンを提示したPersonalComputerWorldの記事を覚えていますが、ログ式の代わりにヒューリスティックな方法を使用していました。エントロピーを最大化するのではなく、二乗和を最小化したと思いますが、それはかなり前のことです。（私が思うに）Byteには、同様の情報（エントロピーではない）の対数式を使​​用した別の記事がありました。そのようなことは私に理論を扱いやすくするハンドルを与えました。

編集-「エントロピーではない」とは、情報値の加重平均を使用したと思いますが、「エントロピー」という名前は使用していません。

デシジョンテーブルから単純なデシジョンツリーを構築することは、確率と情報の関係を理解するための非常に良い方法だと思います。これにより、確率から情報へのリンクがより直感的になり、バランスの取れた確率のエントロピー最大化効果を説明するための加重平均の例が提供されます。とても良い日-1種類のレッスン。

また、そのデシジョンツリーをハフマンデコーディングツリー（結局のところ、「どのトークンをデコーディングしていますか？」デシジョンツリー）に置き換えて、コーディングへのリンクを作成できるのも便利です。

ところで-このリンクを見てください...

Mackayには無料でダウンロードできる教科書があり（そして印刷物で入手できます）、私はそれをすべて読んだわけではありませんが、私が読んだ部分はとても良さそうです。特に、ベイズの293ページから始まる「説明する」の説明は心に留めています。

CiteSeerXは、情報理論の論文（とりわけ）にとって非常に有用なリソースです。2つの興味深い論文は...

CN2はおそらく初日の資料ではありませんが。

于 2010-02-21T18:23:52.573 に答える
1

私はポップサイエンスの目的でファインマンを推薦するつもりでしたが、振り返ってみると、それは真剣な研究を容易にするためにも良い選択かもしれないと思います。数学を習得せずにこのことを本当に知ることはできませんが、ファインマンは非常に刺激的であるため、馬を怖がらせることなく数学を忍び込みます。

計算に関するファインマン講義http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

単なる情報理論よりもかなり多くの分野をカバーしていますが、良いもので読みやすいものです。（その上、私はチーム物理学のために引っ張る義務があります。Rah！Rah！Rhee！）

于 2010-02-21T17:22:23.923 に答える
1

概念は抽象的なものかもしれませんが、最近では機械学習/人工知能で有効に活用されています。

これは、これらの理論的概念の実際的な必要性に対する良い動機として役立つ可能性があります。要約すると、モデル（LSTM、CNNなど）がターゲット出力を近似する際にどれだけうまくいくかを推定する必要があります（たとえば、クロスエントロピーまたは情報理論からのカルバックライブラー発散を使用）。（ 情報理論による深層学習の説明の観点については、情報のボトルネックと深層学習および情報のボトルネックの原則を確認してください）

さらに、チャネル容量とプロパティの分析なしに、有用な通信またはネットワークシステムを構築することはできません。

本質的には理論的に見えるかもしれませんが、それは現在のコミュニケーション時代の中心にあります。

私が何を意味するのかについてより詳細な見解を得るには、このISIT講義をご覧になることをお勧めします：DavidTSe教授による情報理論の精神。

情報理論が有用である可能性がある場合と、それが使用に適していない場合について説明している、ClaudeChannon自身による論文Bandwagonも確認してください。

このペーパーは、開始するのに役立ちます。包括的な詳細については、情報理論の要素をお読みください。

于 2017-12-15T13:18:54.680 に答える
0

情報理論は、機械学習やデータマイニングなどで非常に効率的なアプリケーションを持っています。特に、データの視覚化、変数の選択、データの変換と予測、情報理論の基準は、最も一般的なアプローチの1つです。

たとえばを参照してください

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf または http://www.mdpi.com/1424-8220/11/6/5695

情報理論により、事後分布やマルコフブランケットなどの形式的な方法で最適なデータ圧縮にアプローチできます。

http://www.mdpi.com/1099-4300/13/7/1403

これにより、変数選択のエラーの確率の上限と下限を取得できます。

http://www.mdpi.com/1099-4300/12/10/2144

統計と比較して情報理論を使用する利点の1つは、確率分布を設定する必要がないことです。確率分布をまったく推定しようとせずに、情報、冗長性、エントロピー、転送エントロピーを計算できます。情報損失のない変数の除去は、条件付き事後確率の保存の観点から定義され、情報理論を使用して、確率密度を計算する必要なしに、同様の定式化を見つけることができます。計算はむしろ変数間の相互情報量の観点からのものであり、文学はこれらの多くの効率的な推定量と低次元近似を提供してきました。http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http：//www.mdpiを参照してください 。

于 2014-01-07T15:58:47.077 に答える
0

グリン・ウィンスケルによるこの本を提案することができます。私の大学では情報理論のコースで使用されていました。それは論理理論から始まり、IMPと呼ばれる単純な命令型言語を定義し、言語の形式的意味論に関する多くの概念に従います。

プログラミング言語の正式な意味論

http://mitpress.mit.edu/books/formal-semantics-programming-languages

于 2014-12-12T10:44:52.900 に答える