Entropi (informationsteori)
 |
Den här artikeln behöver källhänvisningar för att kunna verifieras. (2020-11) Åtgärda genom att lägga till pålitliga källor (gärna som fotnoter). Uppgifter utan källhänvisning kan ifrågasättas och tas bort utan att det behöver diskuteras på diskussionssidan. |
Entropi är ett begrepp inom informationsteorin, definierat av Claude Shannon 1948, för en informationskälla som genererar symboler. Baserat på sannolikheten för varje symbol definieras entropin över hela sannolikhetsfördelningen som:
Begreppet definierades utifrån behovet att beräkna kapaciteten hos kommunikationskanaler, och grundar sig på stokastiska sannolikheter.
Definitionen är skapad som en analogi till den mikroskopiska definitionen av den termodynamiska storheten entropi.