1948年にクロード・シャノンが発表した論文から始まった情報理論は、現代のデジタル社会を支える通信技術やコンピュータ科学の根幹を成す学問です。
物理学において物質やエネルギーと並び、世界を構成する第3の重要な要素として位置づけられる「情報」を、いかに数学的に定義するかが本講義の主題です。
私たちが日常的に使う「情報」という言葉は、非常に広範で曖昧な概念として扱われがちです。
しかし、情報理論ではこれを「確率」という客観的な物差しを用いて定量化し、数学の土台に乗せることで、精密な測定や計算を可能にしました。
情報量の定義における出発点は、ある事象が「稀であるほど情報の価値が高い」と見なす考え方にあります。
頻繁に起こる当然の出来事を知らされるよりも、滅多に起きない驚きを伴う出来事を知る方が、受け取る側にとっての情報価値は大きいと定義するのです。
この直感を数値化するためにはどうすればよいでしょうか？
数学的に情報量を記述するための関数には、3つの性質が求められます。
1つ目は確率が高いほど値が小さくなる「単調減少性」、2つ目は値が急激に変化しない「連続性」、そして3つ目が最も重要な「加法性」です。
加法性とは、独立した2つの事象が同時に起こる時の情報量が、それぞれの情報量の和と一致することを指します。
これらの条件をすべて満たす関数を導き出すと、必然的に対数（log）の形が導き出されます。
これが「自己情報量」と呼ばれる指標です。
具体的には、事象Eが起こる情報量 I(E) は、その確率を P(E) とすると「-log2 P(E)」と定義されます。
この底を2とした場合に用いられる単位が、お馴染みの「ビット」です。
次に、個別の事象ではなく、あるシステム全体が持つ「平均的な情報量」を考えるステップへと進みます。
これが「シャノン・エントロピー」と呼ばれるもので、各事象の自己情報量に発生確率を掛けて、すべての事象について足し合わせた期待値として算出されます。
数式では「Σ -P log P」という形で表現されます。
エントロピーの本質を一言で表せば、それは対象の「不確かさ（あいまいさ）」の度合いです。
例えば、全頭の勝率が等しい競馬のレースは結果の予想が最も難しく、エントロピーが最大の状態と言えます。
逆に、圧倒的に強い本命馬がいるレースのように、結果が予測しやすい状況では、エントロピーは低くなります。
情報理論は物理学とも密接に関連しており、特に統計力学におけるエントロピーの概念と深い共通点を持っています。
数式の中に現れる「x log x」という形は、自然界の摂理を解き明かす鍵となる重要な構造です。
物理学、統計学、計算機科学、さらには経済学まで、この共通の言語が横断的に使われています。
講義ではギャンブルの例も挙げられました。
期待値や不確かさを計算する情報理論の考え方は、ポーカーや競馬などの戦略策定においても極めて有用です。
投資の世界で負けを重ねた際に賭け金を倍にしていく「マーチンゲール法」がなぜ破綻するのかも、数学的な観点から説明が可能です。
現代物理学の3大要素である「物質」「エネルギー」「情報」を統合的に理解することは、専門家のみならず、現代を生きる全てのビジネスパーソンにとって有益な視点となります。
バラバラだった知識が、情報の定量化という一つの軸で繋がる感覚こそが、この理論を学ぶ最大の魅力です。
具体的な手順として情報量を算出する際は、以下のステップを踏みます。
①まず対象となるシステムにおける全事象の発生確率（P）を特定します。
②次に各事象の自己情報量を「-log2 P」で計算します。
③最後にそれぞれの情報量に確率を掛けた値の総和を求めることで、そのシステムのシャノン・エントロピーが導き出されます。
このように情報理論は、一見すると実体のない「驚き」や「確かさ」という感覚を、誰もが共有できる数値へと変換しました。
この抽象化のプロセスこそが、シャノンの成し遂げた偉大な業績であり、現代のあらゆる通信技術の出発点となっているのです。