![]() |
||||||||||||||||||||||||||||||||||||||
Funktionsverlauf |
![]() Funktionsverlauf: Entropie einer binären NachrichtenquelleIn dem nachstehenden Diagramm ist der Verlauf der Entropie einer Nachrichtenquelle dargestellt, die zwei unterschiedliche Nachrichten (A und B) aussenden kann: Für die Wahrscheinlichkeit dieser beiden Nachrichten gilt immer P(A) = 1 - P(B), da die Summe beider Wahrscheinlichkeiten zwangsläufig den Wert 1 ergeben muss. Der Maximalwert für die Entropie wird mit einem Betrag von 1 erreicht, wenn beide Nachrichten mit identischer Wahrscheinlichkeit auftreten (je 0,5). In diesem Fall müsste die Nachrichtenquelle mit einer durchschnittlichen Kodelänge von 1 Bit kodiert werden. Weicht die Wahrscheinlichkeitsverteilung in die eine oder andere Richtung davon ab, so besteht die Möglichkeit einer günstigeren Kodierung. Wertetabelle:
|
![]() Anzeigen:
|