Ковариация

Ковариа́ция или корреляционный момент $\mathrm {cov} (X,Y)$ случайных величин — в теории вероятностей и математической статистике мера зависимости двух случайных величин.

В теории вероятностей и статистике ковариация является мерой совместной изменчивости двух случайных величин. Если большие значения одной переменной в основном соответствуют большим значениям другой переменной, и то же самое верно для меньших значений (то есть переменные имеют тенденцию одинаковой направленности) — ковариация положительна. При отрицательной ковариации большие значения одной переменной в основном соответствуют меньшим значениям другой и наоборот (то есть переменные имеют тенденцию противоположной направленности). Величину ковариации труднее интерпретировать, поскольку она не нормирована и, следовательно, зависит от размерности величин. Нормализованная версия ковариации — коэффициент корреляции — своей величиной показывает силу линейной зависимости.

Определение

Пусть $X,Y$ — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:

$\mathrm {cov} (X,Y)=\mathbb {E} \left[(X-\mathbb {E} X)(Y-\mathbb {E} Y)\right]$,

где $\mathbb {E}$— математическое ожидание (в русскоязычной литературе также используется обозначение $\mathbb {M}$).

Предполагается, что все математические ожидания $\mathbb {E}$ в правой части данного выражения определены.

Замечания

• Если $X,Y\in L^{2}$, то есть имеют конечный второй момент, то ковариация определена и конечна.
• В гильбертовом пространстве несмещённых случайных величин с конечным вторым моментом $L_{0}^{2}\equiv \{X\in L^{2}\mid \mathbb {E} X=0\}$ ковариация имеет вид $\mathrm {cov} (X,Y)=\mathbb {E} [XY]$и играет роль скалярного произведения.

Выборочный коэффициент ковариации

Пусть $X_{1},X_{2},...,X_{n}$ — выборка $X$ объёма $n$, $Y_{1},Y_{2},...,Y_{n}$ — выборка $Y$ объёма $n$ и они порождены случайными величинами, определёнными на одном и том же вероятностном пространстве. Тогда выборочным коэффициентом ковариации является средняя величина произведений отклонений значений от средних значений соответствующих выборок:

${\overline {s}}_{XY}=\mathrm {cov} (X,Y)={1 \over n}\sum _{t=1}^{n}\left(X_{t}-{\overline {X}}\right)\left(Y_{t}-{\overline {Y}}\right)$,

где средние значения выборок (также называемые выборочными средними) определяют по формулам:

${\overline {X}}={\frac {1}{n}}\sum _{t=1}^{n}X_{t}$,

${\overline {Y}}={\frac {1}{n}}\sum _{t=1}^{n}Y_{t}$ .

Если раскрыть скобки и воспользоваться формулой для выборочного среднего, то:

$\mathrm {cov} (X,Y)={\frac {1}{n}}\sum _{t=1}^{n}X_{t}Y_{t}-\left({\frac {1}{n}}\sum _{t=1}^{n}X_{t}\right)\left({\frac {1}{n}}\sum _{t=1}^{n}Y_{t}\right)={\frac {1}{n}}\sum _{t=1}^{n}X_{t}Y_{t}-{\overline {X}}{\overline {Y}}$.

Свойства

• Если $X,Y$ — независимые случайные величины, то

  $\mathrm {cov} (X,Y)=0$.

  Но обратное утверждение в общем случае неверно: из нулевой ковариации нельзя делать вывод о независимости величин. Пример:

  Пусть случайная величина $Z$ принимает значения $0,{\frac {\pi }{2}},\pi$, каждое с вероятностью ${\frac {1}{3}}$. Тогда $\cos {Z}$ будет принимать значения −1, 0 и 1, каждое с вероятностью ${\frac {1}{3}}$, а $P(\sin {Z}=1)={\frac {1}{3}},P(\sin {Z}=0)={\frac {2}{3}},P(\sin {Z}=-1)=0$. Тогда $\mathrm {cov} (\sin {Z},\cos {Z})=0$, но $0=P(\sin {Z}=1,\cos {Z}=1)\neq P(\cos {Z}=1)P(\sin {Z}=1)={\frac {1}{9}}$

• Ковариация случайной величины с собой равна дисперсии: $\mathrm {cov} (X,X)=\mathrm {D} [X]$.
• Ковариация симметрична:

  $\mathrm {cov} (X,Y)=\mathrm {cov} (Y,X)$.

• В силу линейности математического ожидания ковариация может быть записана как

  $\mathrm {cov} (X,Y)=\mathbb {E} \left[XY-X\mathbb {E} Y-Y\mathbb {E} X \mathbb {E} X\mathbb {E} Y\right]=$
  $\;=\mathbb {E} \left[XY\right]-\mathbb {E} X\mathbb {E} Y-\mathbb {E} X\mathbb {E} Y \mathbb {E} X\mathbb {E} Y=$
  $\;=\mathbb {E} \left[XY\right]-\mathbb {E} X\mathbb {E} Y$.

• Пусть $X_{1},\ldots ,X_{n}$ случайные величины, а $Y_{1}=\sum \limits _{i=1}^{n}a_{i}X_{i},\;Y_{2}=\sum \limits _{j=1}^{m}b_{j}X_{j}$ — их две произвольные линейные комбинации. Тогда

  $\mathrm {cov} (Y_{1},Y_{2})=\sum \limits _{i=1}^{n}\sum \limits _{j=1}^{m}a_{i}b_{j}\mathrm {cov} (X_{i},X_{j})$.

В частности, ковариация (в отличие от коэффициента корреляции) не инвариантна относительно смены масштаба, что не всегда удобно в приложениях.

• Если $\alpha$ и $\beta$ — числа, то

  $\mathrm {cov} (X \alpha ,Y \beta )=\mathrm {cov} (X,Y)$.

• Неравенство Коши — Буняковского: если принять в качестве скалярного произведения двух случайных величин ковариацию $\langle X,Y\rangle =\mathrm {cov} (X,Y)$, то квадрат нормы случайной величины будет равен дисперсии $\|X\|^{2}=\mathrm {D} [X]$, и неравенство Коши — Буняковского запишется в виде:

  $\mathrm {cov} ^{2}(X,Y)\leqslant \mathrm {D} [X]\cdot \mathrm {D} [Y]$.

Коэффициент корреляции

Коэффициент корреляции r или R- мера линейной зависимости между двумя случайными величинами. R лежит в пределах от −1 до 1. Если ковариация положительна, то с ростом значений одной случайной величины, значения второй имеют тенденцию возрастать, а если знак отрицательный — то убывать.

По абсолютному значению ковариации нельзя судить о том, насколько сильно величины взаимосвязаны, так как масштаб ковариации зависит от их дисперсий. Значение ковариации можно нормировать, поделив её на произведение среднеквадратических отклонений (квадратных корней из дисперсий) случайных величин. Полученная величина называется коэффициентом корреляции Пирсона $\mathbf {r} (X,Y)$, который всегда находится в интервале от −1 до 1:

$\mathbf {r} (X,Y)={\frac {\mathrm {cov} (X,Y)}{\sigma _{X}\sigma _{Y}}}$, где $\sigma$ — среднеквадратическое отклонение.

Соответственно,

$\mathrm {cov} (X,Y)=\mathbf {r} (X,Y)\cdot \sigma _{X}\sigma _{Y}$.

Случайные величины, имеющие нулевую ковариацию, называются некоррелированными. Независимые случайные величины всегда некоррелированы. Обратное утверждение не всегда выполняется. Оно справедливо для нормально распределенных случайных величин.

См. также

• Ковариационная матрица — обобщение понятия ковариации для векторов из случайных величин
• Корреляция
• Дисперсия случайной величины

Ссылки

• Weisstein, Eric W. Covariance (англ.) на сайте Wolfram MathWorld.