Teorema di Gauss-Markov

Il teorema di Gauss-Markov, così chiamato in onore dei matematici Carl Friedrich Gauss e Andrej Markov, è un teorema in statistica matematica che afferma che in un modello lineare in cui i disturbi hanno valore atteso nullo, sono incorrelati e omoschedastici, gli stimatori lineari corretti più efficienti sono gli stimatori ottenuti con il metodo dei minimi quadrati.

Enunciato del teorema

In termini più formali, si consideri un modello lineare in notazione matriciale:

$y=X\beta \varepsilon ,$

dove $\mathrm {E} [\varepsilon ]=0$ e $\mathrm {E} [\varepsilon \varepsilon ']=\sigma ^{2}I$ (con $A'$ si indica la matrice trasposta della matrice $A$); essendo

${\hat {\beta }}=(X'X)^{-1}X'y$

il vettore degli stimatori dei minimi quadrati, allora qualunque stimatore alternativo

$b=Ly$

ottenuto come combinazione lineare degli $y$ è tale per cui:

$\mathrm {Var} \left(b\right)-\mathrm {Var} \left({\hat {\beta }}\right)=\mathrm {E} \left[\left(b-\beta \right)\left(b-\beta \right)'\right]-\mathrm {E} \left[\left({\hat {\beta }}-\beta \right)\left({\hat {\beta }}-\beta \right)'\right]$

è una matrice semidefinita positiva.

Dimostrazione

Si consideri un generico stimatore lineare $b=Ly$; si decomponga la matrice $L$ come:

$L=D (X'X)^{-1}X'.$

Si impone a questo punto che $b$ sia uno stimatore corretto, ossia:

$\mathrm {E} \left[b\right]=\mathrm {E} \left[Dy (X'X)^{-1}X'y\right]=\beta .$

Evidentemente, ciò è possibile solo se $DX=0$ (e, ovviamente, $\mathrm {E} [L\varepsilon ]=\mathrm {E} [D\varepsilon ]=0$). La matrice delle covarianze di $b$ è data da:

$\mathrm {E} \left[(b-\beta )(b-\beta )'\right]=\mathrm {E} \left[(D (X'X)^{-1}X')\varepsilon \varepsilon '(D (X'X)^{-1}X')'\right]=\sigma ^{2}(DD' (X'X)^{-1}),$

poiché la correttezza di $b$ impone che $DX=0$. Nell'espressione sopra si riconosce la matrice delle covarianze degli stimatori dei minimi quadrati $\mathrm {Var} ({\hat {\beta }})=\sigma ^{2}(X'X)^{-1}$; è immediato osservare che la matrice $\sigma ^{2}DD'=\mathrm {Var} (b)-\mathrm {Var} ({\hat {\beta }})$ è semi-definita positiva, in quanto $\sigma ^{2}>0$ e:

$v'DD'v=(D'v)'(D'v)=||D'v||^{2}\geq 0,\quad \forall v\neq 0,$

così che la tesi del teorema risulta dimostrata.

Bibliografia

• Plackett, R.L. (1950). "Some Theorems in Least Squares". Biometrika 37 (1–2): 149–157. doi:10.1093/biomet/37.1-2.149. JSTOR 2332158. MR 36980.

Uso in fisica

• L. Lyons, D. Gibaut, P. Clifford (1998). "How to combine correlated estimates of a single physical quantity". Nucl. Instr. and Meth. A270: 110.
• L. Lyons, A. J. Martin, D. H. Saxon (1990). "On the determination of the b lifetime by combining the results of different experiments". Phys. Rev. D41: 982–985.

Voci correlate

• Regressione lineare