高校生でもわかる めっちゃ簡単な 情報量 の話
こんにちは! 一応、情報系の学生である僕です。
今回は 情報量 についての話をしたいと思います。
情報量...、なんか難しそうな響き...。なんてことはありません。高校の基本的な「確率」と「対数」の内容で容易に理解できるものです。
目標は「高校で学ぶ数学が活かされていることを高校生に実感してもらうこと」です。そもそもこのブログが高校生に見られるのかという問題がありますが(笑)
ということで、高校生にもわかるように 情報量 についての説明をしていきます。
情報量とは?
情報量とは簡単に言うと
情報を聞いてどれだけビックリしたかを表す数値
です。
これを詳しく説明するために、まずはクジ引きを用いた例を見ていきましょう。
クジ引きにおけるビックリ度合い
太郎君のクジ引き
その1
アタリが1本、ハズレが7本入ったクジ引きがあるとします。アタリを引く確率はです。太郎くんがこのクジを1本引いて見事にアタリだったらちょっとビックリします。
その2
アタリが1本、ハズレが31本入ったクジ引きがあるとします。アタリを引く確率はです。太郎くんがこのクジを1本引いて見事にアタリだったら、けっこうビックリしますよね。
その3
アタリが1本、ハズレが1023本入ったクジ引きがあるとします。アタリを引く確率はです。太郎くんがこのクジを1本引いて見事にアタリだったら、めっちゃビックリしますよね。
確率とビックリ度合い
この例からわかるように、起こる確率の低いことが起こったらビックリします。逆に、起こる確率の高いことが起こってもそんなにビックリしません。上記のクジで太郎くんがハズレを引いても「まあ当然だな」ってなりますよね。
情報量の定義を考える
確率と情報量を反比例の関係で表す?
この、ビックリの度合いを数値で表してやろう!というのが情報量です。
「ビックリの度合いが大きいほど情報量も大きく」「ビックリの度合いが小さいほど情報量も小さい」という感じです。
では情報量をどのように定義すればよいのでしょうか。
「起こる確率の低いものが起これば、ビックリの度合いは大きく、情報量も大きい」
ここで勘の良い人は「確率と情報量を反比例の関係で表せばいいんじゃない?」と考えるかもしれません。しかしこれ、半分正解で半分間違いです。ここで少し、極端な例を考えてみましょう。
反比例ではダメ?
アタリが1本、ハズレが0本入ったクジ引きがあるとします。アタリを引く確率は1です。つまり、絶対にアタリを引きます。
ここで太郎くんがこのクジを1本引いてアタリが出たところで、全くビックリしませんよね。だって、引く前から結果がわかっているのですから。
このように、絶対に起こること(起こる確率が1であること)が起こっても、そこから得られる情報はありません。全くビックリしません。このときの情報量は「0」にしたいですよね。
以上のことをまとめると、情報量の満たすべき条件は
- 起こる確率の低いものが起こったときほど情報量は大きい
- 絶対起こるものが起こったときの情報量は0
となります。
ここで、情報量を、事象の起こる確率を
としましょう。
さきほどの反比例の考え方でとしてしまうと、絶対に起こること(
)が起こったときの情報量
が「1」になってしまいます。しかし、絶対に起こることが起こったときの情報量
は「0」にしたい。そのため、普通に反比例の関係を用いるだけではダメそうです。
ここで対数の出番
「1」を「0」にする方法ってなかったでしょうか。
ここで勘の良い人は高校数学Ⅱの範囲を思い出して「対数使えばいいんじゃない?」と思うでしょう。
どういうことかといいますと、のように
真数の部分が1のlogは「0」になりますよね。
これをもとにして、情報量を以下のように定義してみましょう。
こう定義してみると、さきほどの条件
- 起こる確率の低いものが起こったときほど情報量は大きい
- 絶対起こるものが起こったときの情報量は0
が満たされています。ということで、これを情報量の定義としてよいでしょう。ちなみに、底は一般的に2とすることになっています。
ちなみにこの定義式をちょっと変形すると
となります.
情報量の定義を使って見る
それでは、この定義をもとに、さきほどのクジ引きの例を考えてみましょう。
問1
アタリが1本、ハズレが7本入ったクジ引きがあるとします。アタリを引く確率はです。太郎くんが1本引いてアタリだったときの情報量
を求めてみましょう。
簡単ですね。
となります。
問2
アタリ1本、ハズレ1023本のクジ引きで、太郎くんが1本引いてアタリだったときの情報量を求めてみましょう。
これも簡単で
ですね。
最後に
このように、情報量の考え方を使うと「日常生活の中でのビックリ度合いを具体的な数値で表すことができる」というお話でした。数式自体がそんなに難しくないので、わかりやすいものだったのではないでしょうか?
実は、情報量に対数を使うメリットがもう1つあります。
その話はまた次の記事で!