Information (Physik)

In der statistischen Physik ist die fehlende Information eines Systems die Information, die benötigt wird, um herauszufinden, in welchem Zustand sich ein System befindet. Sie ist die gewichtete Summe der Logarithmen der Zustandswahrscheinlichkeiten

$ I=-k\sum _{i=1}^{n}p_{i}\ln(p_{i})\ , $

wobei die $ p_{i}\, $ die Wahrscheinlichkeiten der $ n $ Zustände des Systems sind.

Als Informationsentropie $ S $ wird die fehlende Information bezeichnet, um herauszufinden, in welchem Zustand sich ein willkürlich herausgegriffener Repräsentant eines Ensembles befindet.

Setzt man $ k=\ln(2)^{-1} $, so ergibt sich der Informationsgehalt aus der Informationstheorie in der Einheit Shannon. In der Statistischen Physik setzt man jedoch $ k $ auf die Boltzmann-Konstante $ k=k_{\mathrm {B} } $, weil dann die Informationsentropie eines Ensembles mit der thermodynamischen Entropie übereinstimmt.

Das Gleichgewichtssystem ist in diesem Sprachgebrauch das System mit dem Maximum an fehlender Information.

Mikrokanonisches Ensemble

Im mikrokanonischen Ensemble sind alle Zustände gleich häufig vertreten. Gibt es für den makroskopischen Zustand $ (E,N,V,\dots ) $, bei dem z. B. E die Energie, N die Teilchenzahl und V das Volumen sind, eine Anzahl $ W(E,\dots ) $ mikroskopischer Zustände, so sind folglich die Energieniveaus $ E_{n}\, $ mit den Wahrscheinlichkeiten $ p_{n}=1/W(E,\dots ) $ vertreten.

Die Informationsentropie beträgt dann

$ S\;=\;-k_{\mathrm {B} }\sum _{n}{\frac {1}{W(E_{n})}}\,\ln \left({\frac {1}{W(E_{n})}}\right)\ , $

beziehungsweise für eine bestimmte Energie $ E_{n} $

$ S\;=\;-k_{\mathrm {B} }\ln \left({\frac {1}{W(E_{n})}}\right)\;=\;k_{\mathrm {B} }\ln(W)\ . $

Kanonisches Ensemble

Für das kanonische Ensemble sind die Wahrscheinlichkeiten für verschiedene Energien $ p_{n}={\frac {1}{Z}}\exp \left(-\beta E_{n}\right) $. Und die Informationsentropie beträgt

$ S\;=\;-k_{\mathrm {B} }\sum _{n}p_{n}\,\left(-\ln(Z)-\beta E_{n}\right)\;=\;-k_{\mathrm {B} }\left(-\ln(Z)-\beta \sum _{n}p_{n}\,E_{n})\right)\;=\;-{\frac {F-U}{T}}\ , $

wobei $ F $ die Freie Energie und $ U $ die Innere Energie sind.

Literatur

• Kerson Huang: Introduction to Statistical Physics. CRC Press, Boca Raton 2010, ISBN 978-1-4200-7902-9. 
• Prof. Dr. W. Dieterich, Oliver Schlotterer: Statistische Mechanik. (PDF; 2,4 MB) Vorlesung im WS 2004/5. Fachbereich Physik, Universität Konstanz, Februar 2009, S. 57–61, abgerufen am 21. Januar 2012.