English Version
Impressum
Index
Suche

Datenkompression


Kriterien

Übersicht Formate

Grundlagen

Grundbegriffe

Zeichen

Zeichenvorrat

Alphabet

Kode

Kodierung

Redundanz

Informationstheorie

Nachricht

Wahrscheinlichkeit

Informationsgehalt

Entropie

Berechnung

Eigenschaften

Extremwerte

Funktionsverlauf

Redundanzreduktion

Irrelevanzreduktion

Entropiekodierung

Kodes mit variabler Länge

Kodebäume

Kompressionsverfahren

Datenformate


Glossar

Stichwortverzeichnis


Download


www.BinaryEssence.de

Funktionsverlauf: Entropie einer binären Nachrichtenquelle


In dem nachstehenden Diagramm ist der Verlauf der Entropie einer Nachrichtenquelle dargestellt, die zwei unterschiedliche Nachrichten (A und B) aussenden kann:



Für die Wahrscheinlichkeit dieser beiden Nachrichten gilt immer

P(A) = 1 - P(B),

da die Summe beider Wahrscheinlichkeiten zwangsläufig den Wert 1 ergeben muss.


Der Maximalwert für die Entropie wird mit einem Betrag von 1 erreicht, wenn beide Nachrichten mit identischer Wahrscheinlichkeit auftreten (je 0,5). In diesem Fall müsste die Nachrichtenquelle mit einer durchschnittlichen Kodelänge von 1 Bit kodiert werden. Weicht die Wahrscheinlichkeitsverteilung in die eine oder andere Richtung davon ab, so besteht die Möglichkeit einer günstigeren Kodierung.


Wertetabelle:

P(A)P(B)H(A,B)
0,01,00,00
0,10,90,47
0,20,80,72
0,30,70,88
0,40,60,97
0,50,51,00
0,60,40,97
0,70,30,88
0,80,20,72
0,90,10,47
1,00,00,00

 <   ^   > 

Entropie Extremwerte Redundanzreduktion



Anzeigen:

Informations- und Kodierungstheorie