QRcode to hig3.net
携帯キャリア自動判別
http://hig3.net

知識の量の計り方 --- シャノンの情報理論

使える数学! (2009 年度)
Time-stamp: "2009-11-01 Sun 19:36 JST hig"

担当教員による追加資料などを提供するサポートサイトです.

目次

  1. 情報の多い少ないって?
  2. 平均情報量
  3. ファイルのサイズと情報量
  4. 相互情報量

追加情報

参考文献

情報理論は, 情報科学系のコースには必ず含まれているので, 教科書も多くあります.
  1. 大村平,情報数学のはなし ,日科技連出版社,2001
  2. 宮川洋,情報理論 (電子通信大学講座 第 39巻),コロナ社,1979
  3. Claude Shannon and Warren Weaver, Mathematical Theory of Communication, Univ. of Illinois Press, 1963
  4. 稲垣 康善,コミュニケーションとコンピュテーション,岩波書店,2006
1. は平易な語り口です. 2. はしっかりした教科書です. 3. は情報理論を打ち立てた原論文を収録しています. 今読んでも明晰で古くなっていません. 4. は最近の教科書です.

訂正と後悔

情報の多い少ないって?-5
[訂正]スライドで, 倍という漢字が正しく表示されていません.
情報の多い少ないって?-5
[補足]ここでは回答を入力するようにはなっていません.
情報の多い少ないって?-7
[補足]a+b=\log_2(p\times q)なので, 希望していた通り, \log_2p+\log_2q=\log_2(p\times q) になる, という話です.
情報の多い少ないって?-8
[訂正]スライドで, 倍という漢字が正しく表示されていません.
情報の多い少ないって?-8 (17:43)
[補足]10やeを底とする対数を使って 2を底とする対数を表すには, 底の変換公式 \log_2 x=\frac{\log_y x}{\log_y 2} を使えばいいです. yは任意の正の数, 今ならeや10です.
相互情報量-5
[補足]この図で, 左の三日月形の部分がH(S1|S2)=H(S1)-I(S1,S2), 右の三日月形の部分がH(S1|S2)=H(S2)-I(S1,S2) にあたります.

確認テスト略解

確認テスト略解
Copyright © 2009 Saburo Higuchi. All rights reserved.
樋口三郎, hig's mail address