読者です 読者をやめる 読者になる 読者になる

時代の波は速い

流行に遅れがちな大学院生のブログです。

【スポンサーリンク】

高校生でもわかるめっちゃ簡単な情報量の話(その2)

こんにちは!

 

今日も前回に引き続き 情報量 の話をしていきたいと思います。前回の記事を読んでいない人は、先にこっちを読んでください!

 

 

前回は情報量{I}と事象の起こる確率{P}に関する定義式

{ I=log_2{\frac{1}{P}}=-log_2{P} }

について、なぜ対数を使うのかを説明しました。

 

今回は、 対数を使うもう1つのメリット について説明します。 

 

 

 

対数の公式の復習

まず対数の復習です。数学Ⅱで対数を勉強したとき以下の重要な公式を学んだと思います。

{log_a{XY}=log_a{X}+log_a{Y} }

つまり、「積{XY}対数」は「{X}対数{Y}対数の和」になるということです。

 

高校時代にこれを学んだときは、数ある公式の中の1つとしか思っていませんでした。
でもこの公式、対数をとることで積を和として考えられる という点が非常に重要なんです。積より和のほうが簡単ですよね。

 

そして、情報量においてもこの公式が重要になってきます。

 

確率の積と情報量

ここでいったん対数のことは置いておいて、情報量の例題を1つ解いてみましょう。今回もクジ引きが題材です。

 

問(太郎くんと花子さんのクジ引き)

アタリが1本、ハズレが8本入ったクジ引きがあります。
まず太郎くんが1本引いたところハズレでした。
太郎くんが引いたクジを戻さずに、次に花子さんが1本引いたところアタリでした。
このときの情報量{I}を求めなさい。

 

 


解けましたか...?

 


では解答です。

 

解答(その1)

情報量の定義通りに素直に解いてみます。

 

太郎くんがハズレを引く確率は{ \frac{8}{9} }

次に花子さんがアタリを引く確率は{ \frac{1}{8} }

よって、太郎くんがハズレを引いて次に花子さんがアタリを引く確率は{ \frac{8}{9} \times \frac{1}{8} }

ゆえに、求める情報量{I}

 { I= -log_2{(\frac{8}{9} \times \frac{1}{8})} = log_2{9}  }

 

「太郎くんがハズレを引いて次に花子さんがアタリを引く確率」を求めてから、その情報量を求めました。

 

Xが起こってYが起こる確率は、Xが起こる確率とYが起こる確率ので求められます。これは数学Aの内容ですね。

 

 

情報量に関する予想

ここで一つ、予想をしてみたいと思います。

前回、情報量は「ビックリの度合いを表すもの」だと言いました。

 

また直感的に、「Aが起こったときのビックリ度」と「Bが起こったときのビックリ度」のは、「Aが起こって、さらにBが起こったときのビックリ度」になるということが予想されます。

 

つまり「Aが起こったときの情報量」と「Bが起こったときの情報量」は、「Aが起こってさらにBが起こったときの情報量」となることが予想されます。

 

【スポンサードリンク】
 

予想の検証

別解を考えてみる

この予想が正しければ、先ほどのクジ引きの問題では次のような考え方ができます。

 

「太郎くんがハズレを引いたときの情報量」「その次に花子さんがアタリを引いたときの情報量」を求めると「太郎くんがハズレを引いて、さらに花子さんがアタリを引いたときの情報量」になる。

 

さて、この考え方が正しいのか、実際に解いて確かめてみましょう。

 

解答(その2)

太郎くんがハズレを引いたときの情報量{ I_{A} }

 { I_{A} = -log_2{\frac{8}{9}} }

次に花子さんがアタリを引いたときの情報量{ I_{B} }

 { I_{B} = -log_2{\frac{1}{8}} }

この和が求める情報量{I}だとすると
 { I= I_{A} + I_{B} = -(log_2{\frac{8}{9}} + log_2{\frac{1}{8}} ) }

さらにここで、最初にあげた公式
 { log_a{XY}=log_a{X}+log_a{Y} }

を使うと
 { I= -(log_2{\frac{8}{9}} + log_2{\frac{1}{8}} ) \\ = -log_2{(\frac{8}{9} \times \frac{1}{8})} \\ = log_2{9} }

 

確かに、解答(その1)と一致していますね!

では、なぜこの考え方が成り立つのでしょう?

 

なぜこの考え方が成り立つのか

その鍵は、最初にあげた公式
 { log_a{XY}=log_a{X}+log_a{Y} }
です。

2つの事象が起こる確率は「その各事象の起こる確率の」で表されます。

また、2つの事象が起こったときの情報量は「その各事象の起こったときの情報量の」で表されます。

これらを結びつけているのが、「積(確率×確率)の対数」を「対数の和(情報量+情報量)」にする公式
 { log_a{XY}=log_a{X}+log_a{Y} }

であるということです。

 

この公式を使うことで、情報量の足し算ができるようになる というのが、情報量を対数で表すもう1つのメリットです。

 

大事なことなのでもう一度言いましょう。

情報量は足し算できる。

 

最後に

高校で何気なく学んでいた公式がこのような形で使われているのを見ると、何か楽しい感じがしませんか?

もし高校の勉強が嫌になってしまったら、少し大学での講義内容などを調べてみるとやる気が出るかもしれませんね。