曖昧な「情報」を数学的に定義する：物理学と繋がる情報理論の真髄

1948年、世界は一つの数式によって塗り替えられた。

天才クロード・シャノンが発表した論文が、それまで極めて曖昧だった「情報」という概念を、数学の土台へと引きずり出したのである。

現代のデジタル文明は、すべてこの情報理論という礎の上に築かれていると言っても過言ではない。

かつて情報は、主観的な価値判断に委ねられていた。

しかしシャノンは、情報の価値を「意味」ではなく「確率」によって定義したのだ。

つまり、情報とは我々が抱く不確実性をどれだけ取り除けるかという尺度に他ならない。

実は、情報理論が扱う領域は通信工学に留まらない。

統計力学やコンピューターサイエンス、さらには経済学や心理学までもが、この理論の軍門に降っている。

物理学における「物質」や「エネルギー」と並び、「情報」は宇宙を構成する第三の要素となったのである。

だが、なぜ数学的な定義が必要だったのか。

それは、コンピューターが処理可能な形に情報を削ぎ落とす必要があったからだ。

情報とは驚きである。

この直感的な事実を、シャノンは対数という武器を用いて見事に鮮明化したのである。

我々は、日々の生活で無意識に情報の重みを選別している。

たとえば「明日の太陽は東から昇る」という言葉に、価値を感じる者はいない。

なぜなら、その確率は限りなく1に近いからだ。

逆に「明日の昼、太陽が西から昇る」と言われれば、世界はパニックに陥るだろう。

情報理論において、稀少な事象こそ価値が高い。

この「驚きの度合い」を数値化したものが自己情報量である。

確率は低ければ低いほど、その事象が起きた際のインパクトは大きくなる。

ここで対数が登場するのは、数学的な必然である。

情報には加法性が必要だからだ。

二つの独立した事象が同時に起きたとき、その情報量は個々の情報量の和であってほしい。

この性質を満たす関数は、対数以外に存在しないのである。

つまり、対数は加法性の裏返しである。

物理学の世界でも、エントロピーに対数が現れる理由はここにある。

複数のシステムを合体させたとき、その複雑さが足し算で増えていくためには、対数という形が不可欠なのだ。

でも、注意が必要だ。

単に珍しければ良いという話ではない。

情報理論は、あくまでシステムの連続性と単調減少性を前提としている。

ガクガクとした不安定な関数では、現実世界の通信や計算を記述することは到底不可能だからだ。

個別の事象が持つ驚きを、システム全体で平均化したものがシャノン・エントロピーである。

これは、ある確率変数がこれからどのような値を出すかという「平均的な不確かさ」を表している。

統計力学を学んだ者なら、この形に既視感を覚えるはずだ。

$-\sum P \log P$ という美しくも残酷な数式。

物理学者たちは、この形を見ただけで興奮を隠しきれない。

これは、自然界が持つ秩序と混沌のバランスそのものだからである。

エントロピーが高い状態とは、予測が全くつかない混沌の状態を指す。

例えば、すべての目が平等に出るサイコロはエントロピーが最大である。

逆に、イカサマで1しか出ないサイコロのエントロピーはゼロだ。

エントロピーは予測の難しさだ。

実は、この概念はギャンブルの戦略とも密接に関わっている。

競馬において、全馬の勝率が等しいレースほど予想は困難を極め、エントロピーは跳ね上がる。

一方で、圧倒的な本命馬がいるレースは情報の価値が低い。

このように、エントロピーは単なる物理量ではない。

それは、宇宙が我々に隠している「情報の密度」を測るための物差しなのである。

二つの事象 $X$ と $Y$ があるとき、片方を知ることで、もう片方の不確かさがどれだけ減るか。

これが相互情報量という極めて実用的な指標である。

これは、事象間の「関係性の深さ」を測るための究極のツールと言える。

例えば、空に黒い雲が広がっているのを見たとする（事象 $Y$）。

この情報によって、「雨が降るか」という不確かさ（事象 $X$）は劇的に減少する。

この減少分こそが、知ることで不確かさが減るという情報の本質だ。

もし二つの事象が完全に独立であれば、相互情報量はゼロになる。

逆に、一方が決まればもう一方が必然的に決まるなら、それは最大値をとる。

この考え方は、ビッグデータ解析や因果推論の現場で猛威を振るっている。

ここで興味深いのが、条件付きエントロピーの存在だ。

ある情報を知った「後」に残る不確かさ。

これを知ることで、我々は情報の「漏れ」や「ノイズ」を定量的に評価できるようになる。

最後に、最も強力で、かつ物理学的な深淵に近い量を紹介しよう。

カルバック・ライブラー・ダイバージェンス（KLダイバージェンス）である。

これは、二つの確率分布がどれだけ「離れているか」を測る指標だ。

ただし、これは数学的な意味での「距離」ではない。

なぜなら、$P$ から見た $Q$ への距離と、$Q$ から見た $P$ への距離が異なるからだ。

この非対称性こそが、情報の流れに「方向」があることを示唆している。

物理学において、KLダイバージェンスは非平衡統計力学の主役である。

あるシステムが平衡状態からどれだけ乖離しているか、あるいは情報を消費してどれだけの仕事を取り出せるか。

その答えはすべて、このダイバージェンスの中に書き込まれている。

実は、トランプのシャッフルが何回で「完全に混ざるか」という問題も、理想的な一様分布とのKLダイバージェンスを追うことで解決される。

リフルシャッフルなら7回前後で急激に混ざる。

これは、情報の「距離」が劇的に縮まる瞬間を見ているのだ。

情報理論は、1948年に産声を上げて以来、あらゆる科学の境界を破壊してきた。

今や、物質の背後には情報があり、エントロピーの背後には確率がある。

我々は、シャノンが開いた情報の海を泳ぐ観測者に過ぎないのである。