Information (Physik)

Mit dem Begriff der Information ist in der statistischen Physik eine anschauliche Verknüpfung zwischen Entropie (hier: fehlende Information oder Informationsentropie) und Wahrscheinlichkeit für eine Interpretation des Entropiebegriffs möglich.^[1] Die fehlende Information eines Systems ist die Information, die benötigt wird, um zu beschreiben, in welchem Zustand sich ein System befindet.

Die fehlende Information eines abgeschlossenen Systems ist die gewichtete Summe der Logarithmen der Zustandswahrscheinlichkeiten

$ I=-k\sum _{i=1}^{n}p_{i}\ln(p_{i})\ , $

wobei die $ p_{i}\, $ die Wahrscheinlichkeiten der $ n $ Zustände des Systems sind.

Als Informationsentropie $ S $ wird die fehlende Information bezeichnet, die beschreibt, in welchem Zustand sich ein willkürlich herausgegriffener Repräsentant eines Ensembles befindet.

Setzt man $ k=\ln(2)^{-1} $, so ergibt sich der Informationsgehalt aus der Informationstheorie in der Einheit Shannon bzw. Bit. Für $ k=1 $ erhält man den Informationsgehalt in der Einheit Nit bzw. Nat. In der Statistischen Physik benutzt man $ k $ die Boltzmann-Konstante $ k=k_{\mathrm {B} } $ als Proportionalitätsfaktor, weil dann die Informationsentropie eines Ensembles mit der thermodynamischen Entropie übereinstimmt.

Das Gleichgewichtssystem ist in diesem Sprachgebrauch das System mit dem Maximum an fehlender Information.

Mikrokanonisches Ensemble

Im mikrokanonischen Ensemble sind alle Zustände gleich häufig vertreten. Gibt es für den makroskopischen Zustand $ (E,N,V,\dots ) $, bei dem z. B. $ E $ die Energie, $ N $ die Teilchenzahl und $ V $ das Volumen sind, eine Anzahl Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): W(E, \dots) mikroskopischer Zustände, so sind folglich die Energieniveaus Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): E_n\, mit den Wahrscheinlichkeiten Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): p_n=1/W(E, \dots) vertreten.

Die Informationsentropie beträgt dann

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): S \;=\; - k_\mathrm{B} \sum_n \frac{1}{W(E_n)}\, \ln \left( \frac{1}{W(E_n)}\right)\ ,

beziehungsweise für eine bestimmte Energie Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): E_n

$ S\;=\;-k_{\mathrm {B} }\ln \left({\frac {1}{W(E_{n})}}\right)\;=\;k_{\mathrm {B} }\ln(W)\ . $

Kanonisches Ensemble

Für das kanonische Ensemble sind die Wahrscheinlichkeiten für verschiedene Energien Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): p_n = \frac{1}{Z} \exp\left(-\beta E_n\right) . Und die Informationsentropie beträgt

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): S \;=\; - k_\mathrm{B} \sum_n p_n\, \left( -\ln (Z) - \beta E_n \right) \;=\; - k_\mathrm{B} \left( - \ln (Z) - \beta \sum_n p_n\,E_n) \right) \;=\; -\frac{F-U}{T}\ ,

wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): F die Freie Energie und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): U die Innere Energie sind.

Literatur

• Kerson Huang: Introduction to Statistical Physics. CRC Press, Boca Raton 2010, ISBN 978-1-4200-7902-9. 
• W. Dieterich, Oliver Schlotterer: Statistische Mechanik. (PDF; 2,4 MB) Vorlesung im WS 2004/5. Fachbereich Physik, Universität Konstanz, Februar 2009, S. 57–61, abgerufen am 21. Januar 2012. 
• Horst Völz: Das ist Information. Shaker Verlag, Aachen 2017. ISBN 978-3-8440-5587-0.
• Horst Völz: Weltbeschreibung. Raum, Zeit, Temperatur und Information – Aspekte, Standpunkte, Debatten. Shaker Verlag, Aachen 2018, ISBN 978-3-8440-6323-3.
• Wolfgang Raible: “Information”, Ein Schlüsselbegriff für Natur- und Kulturwissenschaften. (PDF; 1,43 MB) Kolloqium an der Universität Freiburg. Heidelberger Akademie der Wissenschaften, 16. Mai 2009, S. 4, abgerufen am 2. März 2021. 

Einzelnachweise