Information (Physik)

Dieser Artikel wurde den Mitarbeitern der Redaktion Physik zur Qualitätssicherung aufgetragen. Wenn du dich mit dem Thema auskennst, bist du herzlich eingeladen, dich an der Prüfung und möglichen Verbesserung des Artikels zu beteiligen. Der Meinungsaustausch darüber findet derzeit nicht auf der Artikeldiskussionsseite, sondern auf der Qualitätssicherungs-Seite der Physik statt.

Die Artikel Information (Physik) und Entropie (Informationstheorie) überschneiden sich thematisch. Hilf mit, die Artikel besser voneinander abzugrenzen oder zusammenzuführen (→ Anleitung). Beteilige dich dazu an der betreffenden Redundanzdiskussion. Bitte entferne diesen Baustein erst nach vollständiger Abarbeitung der Redundanz und vergiss nicht, den betreffenden Eintrag auf der Redundanzdiskussionsseite mit {{Erledigt|1=~~~~}} zu markieren. Minderbinder 16:50, 9. Apr. 2021 (CEST)

Mit dem Begriff der Information ist in der statistischen Physik eine anschauliche Verknüpfung zwischen Entropie (hier: fehlende Information oder Informationsentropie) und Wahrscheinlichkeit für eine Interpretation des Entropiebegriffs möglich.^[1] Die fehlende Information eines Systems ist die Information, die benötigt wird, um zu beschreiben, in welchem Zustand sich ein System befindet.

Die fehlende Information eines abgeschlossenen Systems ist die gewichtete Summe der Logarithmen der Zustandswahrscheinlichkeiten

$ I=-k\sum _{i=1}^{n}p_{i}\ln(p_{i})\ , $

wobei die $ p_{i}\, $ die Wahrscheinlichkeiten der $ n $ Zustände des Systems sind.

Als Informationsentropie $ S $ wird die fehlende Information bezeichnet, die beschreibt, in welchem Zustand sich ein willkürlich herausgegriffener Repräsentant eines Ensembles befindet.

Setzt man $ k=\ln(2)^{-1} $, so ergibt sich der Informationsgehalt aus der Informationstheorie in der Einheit Shannon bzw. Bit. Für $ k=1 $ erhält man den Informationsgehalt in der Einheit Nit bzw. Nat. In der Statistischen Physik benutzt man $ k $ die Boltzmann-Konstante $ k=k_{\mathrm {B} } $ als Proportionalitätsfaktor, weil dann die Informationsentropie eines Ensembles mit der thermodynamischen Entropie übereinstimmt.

Das Gleichgewichtssystem ist in diesem Sprachgebrauch das System mit dem Maximum an fehlender Information.

Mikrokanonisches Ensemble

Im mikrokanonischen Ensemble sind alle Zustände gleich häufig vertreten. Gibt es für den makroskopischen Zustand $ (E,N,V,\dots ) $, bei dem z. B. $ E $ die Energie, $ N $ die Teilchenzahl und $ V $ das Volumen sind, eine Anzahl $ W(E,\dots ) $ mikroskopischer Zustände, so sind folglich die Energieniveaus $ E_{n}\, $ mit den Wahrscheinlichkeiten $ p_{n}=1/W(E,\dots ) $ vertreten.

Die Informationsentropie beträgt dann

$ S\;=\;-k_{\mathrm {B} }\sum _{n}{\frac {1}{W(E_{n})}}\,\ln \left({\frac {1}{W(E_{n})}}\right)\ , $

beziehungsweise für eine bestimmte Energie $ E_{n} $

$ S\;=\;-k_{\mathrm {B} }\ln \left({\frac {1}{W(E_{n})}}\right)\;=\;k_{\mathrm {B} }\ln(W)\ . $

Kanonisches Ensemble

Für das kanonische Ensemble sind die Wahrscheinlichkeiten für verschiedene Energien $ p_{n}={\frac {1}{Z}}\exp \left(-\beta E_{n}\right) $. Und die Informationsentropie beträgt

$ S\;=\;-k_{\mathrm {B} }\sum _{n}p_{n}\,\left(-\ln(Z)-\beta E_{n}\right)\;=\;-k_{\mathrm {B} }\left(-\ln(Z)-\beta \sum _{n}p_{n}\,E_{n})\right)\;=\;-{\frac {F-U}{T}}\ , $

wobei $ F $ die Freie Energie und $ U $ die Innere Energie sind.

Literatur

• Kerson Huang: Introduction to Statistical Physics. CRC Press, Boca Raton 2010, ISBN 978-1-4200-7902-9. 
• W. Dieterich, Oliver Schlotterer: Statistische Mechanik. (PDF; 2,4 MB) Vorlesung im WS 2004/5. Fachbereich Physik, Universität Konstanz, Februar 2009, S. 57–61, abgerufen am 21. Januar 2012. 
• Horst Völz: Das ist Information. Shaker Verlag, Aachen 2017. ISBN 978-3-8440-5587-0.
• Horst Völz: Weltbeschreibung. Raum, Zeit, Temperatur und Information – Aspekte, Standpunkte, Debatten. Shaker Verlag, Aachen 2018, ISBN 978-3-8440-6323-3.
• Wolfgang Raible: “Information”, Ein Schlüsselbegriff für Natur- und Kulturwissenschaften. (PDF; 1,43 MB) Kolloqium an der Universität Freiburg. Heidelberger Akademie der Wissenschaften, 16. Mai 2009, S. 4, abgerufen am 2. März 2021. 

Einzelnachweise