Die statistische Physik beschäftigt sich mit der Beschreibung von Naturphänomenen, an denen zwar eine große Anzahl an Teilsystemen (z. B. Teilchen) beteiligt ist, aber nur Aussagen über die Gesamtheit interessieren oder grundsätzlich nur eine unvollständige Information über das Detailverhalten der Teilsysteme vorhanden ist.
Die statistische Physik ist eine fundamentale physikalische Theorie, deren mathematische Basis Sätze aus der Wahrscheinlichkeitstheorie und der asymptotischen Statistik, z. B. das Gesetz der großen Zahlen, sowie einige wenige physikalische Hypothesen bilden. Mit ihrer Hilfe werden u. a. Gesetze der Thermodynamik abgeleitet und begründet. Ein Teilgebiet stellt die statistische Mechanik dar.
Statistische Zusammenhänge können überall dort formuliert werden, wo eine beobachtbare Größe eines Systems abhängig von den Eigenschaften seiner Subsysteme ist. Wahrscheinlichkeitsverteilungen kommen dadurch ins Spiel, dass Subsysteme in verschiedenen Zuständen vorliegen können, diese aber zu gleichen Werten der beobachteten Größen des Gesamtsystems führen. Es ist in dieser Situation meist nicht praktikabel oder gar unmöglich, die Eigenschaften aller Subsysteme im Detail zu ermitteln, um daraus auf den Wert einer interessierenden zu beobachtenden Größe zu schließen. Es stellt sich heraus, dass es meist auch gar nicht notwendig ist, Kenntnisse über alle Details aller Subsysteme zu besitzen, um praktikable Aussagen über das Gesamtverhalten des Systems machen zu können.
Beispielsweise sind in 1 Liter Wasser etwa $ 3{,}3\cdot 10^{25} $ Wassermoleküle enthalten. Um das Fließen von 1 Liter Wasser in einem Rohr zu beschreiben, wäre es unpraktikabel, die Wege aller 33 000 000 000 000 000 000 000 000 Wassermoleküle einzeln auf atomarer Ebene verfolgen zu wollen. Es reicht aus, das Verhalten des Systems im Großen nachzuvollziehen. Die statistische Physik stellt Begriffe und Methoden zur Verfügung, mit denen aus bekannten physikalischen Naturgesetzen über Teilsysteme (z. B. Teilchen) Aussagen über das System im Ganzen getroffen werden können.
Bei der Formulierung statistischer Naturgesetze muss man zunächst das zu beschreibende System über Erhaltungsgrößen eingrenzen. Besitzt das System die Erhaltungsgröße E, dann wird postuliert, dass alle Zustände, die ohne Verletzung dieser Erhaltungsgröße erreichbar sind, gleich wahrscheinlich realisiert werden (Ergodizität). Als Nächstes ermittelt man über physikalische Modelle die Zahl der möglichen Zustände g in Abhängigkeit von dieser Erhaltungsgröße: g=g(E).
Bringt man zwei Systeme S1 und S2 in Wechselwirkung und ermöglicht den Austausch der Erhaltungsgrößen E1 und E2, so gilt für die Zahl der Zustände des Gesamtsystems S:
Das Gesamtsystem hat eine wahrscheinlichste Verteilung bei der gilt:
Wegen der Erhaltungseigenschaft von E=E1+E2=konstant gilt -dE1=dE2 und
oder
Die Größe s = ln g wird als die Entropie des Systems bezeichnet. Sie ist, bis auf einen Vorfaktor (die Boltzmannkonstante kB), identisch mit der thermodynamischen Entropie. Subsysteme si werden im Kontakt die Erhaltungsgröße E austauschen und dabei am häufigsten jene Zustände einnehmen, für die gilt
Zustände weit außerhalb dieses Gleichgewichtszustandes sind zwar möglich, aber für große Systeme so unwahrscheinlich, dass sie als praktisch unmöglich angesehen werden können. Mit dem Entropiebegriff kann so quantitativ unser empirisches Empfinden erklärt werden, dass Systeme in Kontakt einem neuen Gleichgewichtszustand zustreben und ihre Ausgangszustände nie wieder einnehmen. Entropieeffekte spielen beispielsweise beim Fluktuationstheorem eine große Rolle.
Betrachtet wird ein System aus zwei Subsystemen, bei dem ein System viel größer als das andere ist. Das große System S wird die Erhaltungsgröße E mit dem kleinen System s austauschen. Bei ausreichend deutlichem Größenunterschied kann der funktionale Zusammenhang S(E) des großen Systems als linear angenommen werden, da E nur in kleinen Mengen ausgetauscht wird. Die Ableitung von S(E) ist dann eine Konstante t.
Für kleine Differenzen dE ist das Verhältnis der Zahl benachbarter Zustände g von S(E) dann
und für endliche Differenzen
Die Statistik des kleinen Systems wird also vom großen System derart beeinflusst, dass jeder Zustand des kleinen Systems mit einem Wahrscheinlichkeitsfaktor ~ exp(-t E) korrigiert wird. Eine solche Statistik heißt kanonisches Ensemble. Das große System wird als statistisches Bad oder Reservoir bezeichnet. Über die absoluten Werte von g(E) des Reservoirs muss dabei keinerlei Wissen vorliegen.
Wird als konkrete Erhaltungsgröße die Energie betrachtet, so befindet sich das kleine System im thermischen Kontakt mit einem Wärmereservoir der thermodynamischen Temperatur T
Tauscht ein kleines System zusätzlich Teilchen N mit einem Reservoir aus, so befindet sich das kleine System in diffusem Kontakt mit einem Teilchenreservoir. Wieder werden über das Teilchenreservoir keine Annahmen über die absoluten Zahlen g(N) gemacht, lediglich wird angenommen, dass für den kleinen Bereich, in dem das kleine System mit dem Reservoir Teilchen austauscht gilt:
Jeder Zustand im kleinen System tritt dann mit einer Häufigkeit ~ exp(-m N) exp(-t E) auf und das durch diese Verteilung beschriebene statistische Ensemble wird als großkanonisches Ensemble bezeichnet. Die Größe m entspricht bis auf den Faktor -t dem chemischen Potential des Teilchenreservoirs.