高校生でもわかるめっちゃ簡単な情報量の話

こんにちは！一応、情報系の学生である僕です。

今回は 情報量 についての話をしたいと思います。

情報量...、なんか難しそうな響き...。なんてことはありません。高校の基本的な「確率」と「対数」の内容で容易に理解できるものです。

目標は「高校で学ぶ数学が活かされていることを高校生に実感してもらうこと」です。そもそもこのブログが高校生に見られるのかという問題がありますが（笑）

ということで、高校生にもわかるように 情報量 についての説明をしていきます。

情報量とは？
クジ引きにおけるビックリ度合い
- 太郎君のクジ引き
  - その1
  - その2
  - その3
- 確率とビックリ度合い
情報量の定義を考える
情報量の定義を使って見る
- 問1
- 問2
最後に

情報量とは？

情報量とは簡単に言うと

情報を聞いてどれだけビックリしたかを表す数値

です。

これを詳しく説明するために、まずはクジ引きを用いた例を見ていきましょう。

クジ引きにおけるビックリ度合い

太郎君のクジ引き

その1

アタリが1本、ハズレが7本入ったクジ引きがあるとします。アタリを引く確率は ${\frac{1}{8}}$ です。太郎くんがこのクジを1本引いて見事にアタリだったらちょっとビックリします。

その2

アタリが1本、ハズレが31本入ったクジ引きがあるとします。アタリを引く確率は ${\frac{1}{32}}$ です。太郎くんがこのクジを1本引いて見事にアタリだったら、けっこうビックリしますよね。

その3

アタリが1本、ハズレが1023本入ったクジ引きがあるとします。アタリを引く確率は ${\frac{1}{1024}}$ です。太郎くんがこのクジを1本引いて見事にアタリだったら、めっちゃビックリしますよね。

確率とビックリ度合い

この例からわかるように、起こる確率の低いことが起こったらビックリします。逆に、起こる確率の高いことが起こってもそんなにビックリしません。上記のクジで太郎くんがハズレを引いても「まあ当然だな」ってなりますよね。

情報量の定義を考える

確率と情報量を反比例の関係で表す？

この、ビックリの度合いを数値で表してやろう！というのが情報量です。

「ビックリの度合いが大きいほど情報量も大きく」「ビックリの度合いが小さいほど情報量も小さい」という感じです。

では情報量をどのように定義すればよいのでしょうか。

「起こる確率の低いものが起これば、ビックリの度合いは大きく、情報量も大きい」

ここで勘の良い人は「確率と情報量を反比例の関係で表せばいいんじゃない？」と考えるかもしれません。しかしこれ、半分正解で半分間違いです。ここで少し、極端な例を考えてみましょう。

【スポンサードリンク】

反比例ではダメ？

アタリが1本、ハズレが0本入ったクジ引きがあるとします。アタリを引く確率は1です。つまり、絶対にアタリを引きます。

ここで太郎くんがこのクジを1本引いてアタリが出たところで、全くビックリしませんよね。だって、引く前から結果がわかっているのですから。

このように、絶対に起こること（起こる確率が1であること）が起こっても、そこから得られる情報はありません。全くビックリしません。このときの情報量は「0」にしたいですよね。

以上のことをまとめると、情報量の満たすべき条件は

起こる確率の低いものが起こったときほど情報量は大きい
絶対起こるものが起こったときの情報量は0

となります。

ここで、情報量を ${I}$ 、事象の起こる確率を ${P}$
としましょう。

さきほどの反比例の考え方で ${I= \frac{1}{P}}$ としてしまうと、絶対に起こること（ ${P=1}$ ）が起こったときの情報量 ${I}$ が「1」になってしまいます。しかし、絶対に起こることが起こったときの情報量 ${I}$ は「0」にしたい。そのため、普通に反比例の関係を用いるだけではダメそうです。