ここでは、情報量とエントロピーという言葉だけを使います。

エントロピーというのは不確実さを表します。

Aさんがサイコロを転がして出た目をBさんがそれを見ずに当てる状況を想像してみてください。

Bさんには6個の選択肢があります。

ここで、Aさんが出た目は偶数だということをBさんに伝えるとどうなるでしょうか？

Bさんには3個の選択肢だけが残ります。

BさんはAさんの情報を得たことによって、サイコロの目を当てる上での不確実さが減りました。

Bさんが取得した情報の量は、不確実さが減った分と解釈できます。

これを数値化したものが情報量。

数値化のためには不確実さを数値化すれば良いのですが、

情報理論では、各事象が起こる情報量の期待値とされています。

数式にするとこうなります。

エントロピー（不確実さ）　H = -Σpi log(pi)

pi :　事象iが起こる確率、Σpi = 1 です。

不確実さが大きいほどエントロピーHは大きな値をとります。

一般に、起こりえる事象の数が増えるほど大きくなります。

• log(1)=0 < -log(1/2)=log2 < -log(1/3)=log3 < ・・・< -log(1/100)=log100 < ・・・

また、各事象の起こる確率が均等になる（どれが起こるかよりわからない）ほど大きな値になります。いかさまサイコロで、1の目が90%出るということだと、エントロピーは小さくなります。

さて、Aさんから情報を受け取る前の状態について考えると、1から6までの可能性があります。

6個の事象があり、それらの起こる確率は1/6です。

エントロピーはlog6になります。

H1 = -1/6log(1/6) + -1/6log(1/6) + -1/6log(1/6) + -1/6log(1/6) + -1/6log(1/6) + -1/6log(1/6) = log6

次に、Aさんから情報を受け取った後の状態について考えます。

出た目が偶数だということが分かっているので、2,4,6の選択肢があります。

3個の事象があり、それらの起こる確率は1/3です。

エントロピーは

H2 = -1/3log(1/3) + -1/3log(1/3) + -1/3log(1/3) = log3

さて、不確実さが減った分が情報量なので、不確実さの差分をとってみます。

H1 - H2 = log6 - log3 = log(6/3) = log2

受け取った情報量はlog2ということになります。

ちなみに、情報量 I は下記の式で表されます。

I = -log(pi)

pi: 事象iが起こる確率

サイコロの目が偶数という情報に上の式を適用すると、

サイコロの目が偶数になる確率が 1/2 なので、- log(1/2)=log2となります。

先述のH1-H2の結果と一致します。