「エントロピー」について、よく中等教育においては「複雑性を表す指標」として紹介される。特定の分野であればこうした解釈で問題ないが、こと物理学においては意味合いは少々異なる。
エントロピーとは、本来「系の取り得る微視的状態数の対数に比例する量」であり、情報理論においては「確率分布の不確実性を測る指標」である。中等教育で「複雑性を表す指標」として扱われることがあるが、物理学や情報理論の厳密な定義はそれとは一線を画すものである。
まず、熱力学的エントロピーについて考える。ボルツマンの有名な式：
\[ S=k_B\ln{W} \]によって定義されるエントロピー S は、系が取りうる微視的状態数 W の対数に比例する。ここで k_B はボルツマン定数であり、エネルギー単位と温度単位を結びつける役割を果たす。この定義から明らかなように、エントロピーは「微視的な無秩序さ」の度合いを定量化する量であり、複雑性そのものを計るものではない。例えば、完全に整然とした結晶は状態数 W=1 でエントロピーはゼロであるが、配置がランダムな気体は巨大な W を持ち、エントロピーが大きくなる。
一方、情報理論におけるシャノンエントロピーは、離散確率分布の不確実性を次の式で表す。
\[ H=-\sum_i{p_i}\log{p_i} \]ここで対数は通常、ビット単位なら底を 2、自然単位なら底を e とする。この H は、ある情報源から得られるメッセージの平均情報量、すなわち予測困難性の尺度である。たとえば、均等分布に近いほど H は大きくなり、あるイベントが確実に起こる場合は H=0となる。
熱力学的エントロピーとシャノンエントロピーは形式的に類似しているものの、背景となる解釈が異なる。熱力学ではエネルギーや温度と結びつき、可逆・不可逆過程の区別や平衡状態への遷移を論じるための基本量である。他方、情報理論では通信や符号化における最適限界を示す指標である。両者は「確率分布」と「対数」を媒介に数学的類似性を持つが、前者は物理系の力学的状態数に根ざし、後者は情報源の統計的性質に根ざす違いがある。
私は、教育現場で「エントロピー＝複雑性」と短絡的に教えることには注意が必要だと考える。確かに、多くの要素がランダムに絡み合う複雑系ではエントロピーが高くなりやすい。しかし、複雑性には「構造の不可逆性」や「要素間の相互作用の深さ」など、エントロピーだけでは捉えきれない側面が存在する。たとえば、生命現象や自己組織化現象のように局所的秩序が生まれる過程では、系全体のエントロピーが増大しつつも、部分系ではエントロピーが低下し得るという二重性がある。
また、情報理論の視点からは、「高エントロピー状態＝真のランダム状態」と捉えられるため、暗号理論や乱数生成の基礎にもエントロピー概念は応用される。ここで重要なのは、単に要素が多いことではなく、各要素の発生確率の偏りの少なさ、すなわち予測不可能性そのものを測る点である。
結論として、エントロピーは「複雑性の指標」ではなく、「系の無秩序さあるいは情報の不確実性を定量化する指標」である。教育においてはその直観的説明も有用であるが、本質的にはボルツマンの
\[S=k_BlnW \]やシャノンの
\[H=−\sum{p_i \log{p_i}}\]
に立ち返り、物理的・情報理論的背景を教えることが望ましい。私見では、このようにエントロピーの多面的な性質を伝えることで、学習者はより深い理解と興味を獲得できるだろうと考える。
