Divergenza di Kullback-Leibler

In teoria della probabilità e in teoria dell'informazione, la divergenza di Kullback–Leibler (anche detta divergenza di informazione, entropia relativa, o KLIC) è una misura non simmetrica della differenza tra due distribuzioni di probabilità P e Q. Specificamente, la divergenza di Kullback–Leibler di Q da P, indicata con D_KL(P||Q), è la misura dell'informazione persa quando Q è usata per approssimare P: KL misura il numero atteso di bit extra richiesti per la Codifica di Huffman di campioni P quando si utilizza un codice basato su Q, piuttosto che utilizzare un codice basato su P. Tipicamente P rappresenta la "vera" distribuzione di dati, osservazioni, o una distribuzione teorica calcolata con precisione. La misura Q tipicamente rappresenta una teoria, modello, descrizione, o approssimazione di P.

Anche se è spesso pensata come una distanza, la divergenza KL non è una vera e propria metrica - per esempio, non è simmetrica: la KL da P a Q non è in genere la stessa KL da Q a P. Tuttavia, la sua forma infinitesimale, in particolare la sua matrice hessiana, è un tensore metrico: è l'informazione metrica di Fisher.

La divergenza KL è un caso particolare di una classe più ampia di divergenze chiamata f-divergenze. È stata originariamente introdotta da Solomon Kullback e Richard Leibler nel 1951 come divergenza diretta tra due distribuzioni. Può essere derivata dalla divergenza di Bregman.

Definizione

Per due distribuzioni discrete P e Q, la divergenza KL di Q da P è definita come:

$D_{\mathrm {KL} }(P\|Q)=\sum _{i}P(i)\log _{2}\left({\frac {P(i)}{Q(i)}}\right).$

Proprietà

Dalla disuguaglianza di Jensen segue che $D_{\text{KL}}\left(P\|Q\right)$ è non negativa. Infatti

$D_{\text{KL}}\left(P\|Q\right)=\mathbb {E} _{P}\left[-\log _{2}{\frac {Q}{P}}\right]\geq -\log _{2}\mathbb {E} _{P}\left[{\frac {Q}{P}}\right]=-\log _{2}\sum _{i}P(i){\frac {Q(i)}{P(i)}}=0$

poiché

$\sum _{i}Q(i)=1.$

Bibliografia

• Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 2012.

Controllo di autorità	BNF (FR) cb180900511 (data)