Entropie

Der Begriff Entropie bedeutet so etwa wie „innere Umwandlung“. Gemeint sind damit physikalische Prozesse allgemein, bei denen die innere Ordnung zunimmt oder abnimmt. Die Entropie gibt den Grad der Unordnung im System an, also etwas, was Mütter im Kinderzimmer nicht lieben. Wenn der / die Kleine ihrer Mutter sagt, ich habe die Entropie vermehrt, wird sie baff sein, dann aber darauf bestehen, dass die Entropie abnimmt.

Unter einer physikalischen Unordnung wird die Zahl der möglichen erreichbaren Mikrozustände verstanden. Das klingt sehr abstrakt. Das könnt ihr euch anhand der Energieverteilung (Wärmemenge) in einem System klarmachen.

Der Zustand größter Unordnung

Was hat Münzenwerfen mit Entropie zu tun? Mehr als es auf den ersten Blick den Anschein hat. Mit Hilfe eines einfachen Zufallsexperiments kann der Leser das Wesen der Entropie erfahren, denn der Zustand größer Unordnung ist am wahrscheinlichsten. Um das zu beweisen, nehmen wir 4 Münzen gleicher Art und werfen sie gleichzeitig auf den Tisch. Dann notieren wir nach jedem Wurf, wie oft der Kopf oder die Zahl auftritt. Möglich sind 4 Zustände:

4 Mal Kopf (KKKK)

3 mal Kopf (KKKZ)

2 mal Kopf (KKZZ)

1 mal Kopf (KZZZ)

0 mal Kopf (ZZZZ)

Ihr erkennt auf den ersten Blick, wie K abnimmt und Z zunimmt. Dieses Phänomen sollte euch an die Binomialverteilung erinnern. Die maximale Zahl der Ereignisse für Kopf oder Zahl ist . Mehr als viermal Kopf oder Zahl kann man nicht werfen. Die Abkürzung steht für „mal“. Es sind nur vier Zustände möglich.

von

Hier soll viermal Kopf erscheinen.

von

Hier soll keinmal Kopf erscheinen.

Die Formel für den Binomialkoeffizienten lautet:

Erklärungen:

= abhängige Variable der Wahrscheinlichkeit (eine rein formale Variable, kann man getrost vergessen)

= Anzahl des gesuchten Ereignisses (so viel Mal Kopf)

ist Wahrscheinlichkeit für das gesuchte Ereignis (so viel Mal Kopf)

= Binomialkoeffizient = Anzahl der gesuchten Ereignisse (so viel Mal Kopf) bei Zuständen ()

= Anzahl der möglichen Zustände ()

= Wahrscheinlichkeit für den Zustand des gesuchten Ereignisses

= Wahrscheinlichkeit für den Zustand des unerwünschten Ereignisses

Die Stochastik („Wahrscheinlichkeitsrechnung“) hat viele unübersichtliche Formeln, die man mühsam aufdröseln muss, um sie sicher anzuwenden. Das große in der Klammer bei ist wie das kleine in der allgemein bekannten Schreibweise . Der Buchstabe soll die Anzahl eines gesuchten Ereignisses symbolisieren. Konkret ist das eine Zahl. Beim Münzwurf will man z.B. wissen, wie groß die Wahrscheinlichkeit ist, 1 mal Kopf zu werfen. Statt des setzen wir nun die konkrete Zahl 1 ein.

Der Wert der abhängigen Variablen soll hier 1 betragen. Die abhängige Variable kann Werte von 0 bis 4 annehmen. Die jeweilige Wahrscheinlichkeit für , , , , werden wir später ausrechnen.

Der Ausdruck in der Klammer ist der Binomialkoeffizient. Er ist eine abgekürzte Rechenvorschrift für den Quotienten . Wie der funktioniert, erkläre ich an dieser Stelle nicht näher. Wendet ihn einfach an.

Setzt für ein, die Anzahl der möglichen Zustände (MMMM). Setzt , wenn ihr die Wahrscheinlichkeit für nur 1 mal Kopf errechnen wollt. Bei errechnet ihr die Wahrscheinlichkeit für 2 mal Kopf. Die Wahrscheinlichkeit könnt ihr bis durchrechnen. So oft können maximal Köpfe auftreten.

Die Wahrscheinlichkeit bei einer Münze Kopf zu werfen, ist , also ist . Der Buchstabe ist die Abkürzung für englisch probability („Wahrscheinlichkeit“). Er gibt die Wahrscheinlichkeit für den Zustand eines Ereignisses an. Er bezieht sich immer auf die Wahrscheinlichkeit für ein einzelnen Zustand . In unserem Beispiel ist das die Wahrscheinlichkeit für den Wurf von Kopf bei einer Münze. Diese Wahrscheinlichkeit bezieht sich nur auf einen Zustand einer Münze, nicht aber auf die vier Zustände bei vier Würfen.

Wo es ein gesuchtes Ereignis gibt, da ist in einer dualen Welt das unerwünschte Ereignis nicht fern. Das ist wie in einem gepflegten Garten. Neben den Nutzpflanzen sprießen auch die Unkräuter. Die Wahrscheinlichkeit für ein unerwünschtes Ereignis wird in der Formel als bezeichnet. Das ist die Wahrscheinlichkeit, nicht Kopf zu werfen. Bei der Münze ist das einfach zu ermitteln. Es gibt ja nur Kopf oder Zahl. Daher ist die Wahrscheinlichkeit für Zahl ebenfalls . Das muss aber bei anderen Zufallsexperimenten nicht der Fall zu sein. Es kann durchaus vorkommen, dass und unterschiedlich sind. Behaltet das im Hinterkopf!

Das ist die Wahrscheinlichkeit für Zahl. Sie kann man als Gegenwahrscheinlichkeit oder Wahrscheinlichkeit des Misserfolgs ansehen.

Nun beginnt die große Rechnerei:

0 mal Kopf geworfen :

1 mal Kopf geworfen :

2 mal Kopf geworfen :

3 mal Kopf geworfen :

4 mal Kopf geworfen :

Während der Exponent wächst, wird der Exponent bei immer kleiner. Er errechnet sich aus . Bei den Exponenten fällt auf, dass ihre Summe immer 4 ist. Die Zahl 4 entspricht der Anzahl der gleichzeitig geworfenen Münzen mit ihren Zuständen Kopf oder Zahl. Die Gesamtzahl der Zustände MMMM und die Wurfwahrscheinlichkeit bzw. für Kopf bzw. Zahl ändern sich nicht. Die einzige Zahl, die sich hier fortlaufend ändert, ist das k (Kopf).

Als Abbildung sieht die Wahrscheinlichkeitsverteilung so aus:

[image]

Binomialverteilung mit

Die Abkürzung für die Binomialverteilung ist . In der Klammer steht zuerst die Anzahl der möglichen Ereignisse ( Münzwürfe mit Kopf oder Zahl). Hinter der Pipe | steht die Wahrscheinlichkeit des Auftretens für ein gesuchtes Ereignis (z.B. für Kopf), für ein Ereignis, dessen Wahrscheinlichkeit man errechnen möchte.

Die Abbildung zeigt unmittelbar, dass die Wahrscheinlichkeit für die Kombination KKZZ am größten ist. Sie ist also die Anordnung, die die meiste Unordnung hat. Mit der Entropie verhält sich das ähnlich. So ist es unwahrscheinlich, dass sich alle Teilchen eines Systems gleichzeitig in dieselbe Richtung bewegen. Es herrscht vielmehr eine Unordnung. Die Teilchen werden sich eher in alle Richtungen verteilen.