Логістична регресія

Частина з циклу Статистика
Регресійний аналіз
Моделі
Лінійна регресія Проста лінійна регресія Звичайні найменші квадрати Поліноміальна регресія Загальна лінійна модель
Узагальнена лінійна модель Дискретний вибір Логістична регресія Поліноміальний логіт Змішаний логіт Пробіт Поліноміальний пробіт Впорядкований логіт Впорядкований пробіт Пуассон
Багаторівнева модель Фіксовані рівні факторів Випадкові рівні факторів Змішана модель
Нелінійна регресія Непараметрична Напівпараметрична Робастна Квантильна Ізотонічна Головні компоненти Найменші кути Локальна Сегментована
Похибки вимірювань
Оцінка
Найменші квадрати Звичайні найменші квадрати Лінійні Частинні Повні Узагальнені Зважені Нелінійні Невід'ємні Ітеративно перезважувані Регуляризація Тихонова
Найменших модулів Баєсова Баєсова багатовимірна
Підґрунтя
Перевірка регресійних моделей Середній та передбачуваний відгук Похибки та залишки Допасованість Студентизований залишок Теорема Гаусса — Маркова

Логістична регресія (англ. logistic regression) або лоґіт-регресія (англ. logit model) — статистичний регресійний метод, що застосовують у випадку, коли залежна змінна є бінарною, тобто може набувати тільки двох значень (0 або 1). При запровадженні порогового значення може знаходити застосування у класифікуванні.

Приклади

Прикладом може слугувати класифікація електронних листів на «спам» або «не спам». Метод також використовується у медицині, наприклад, для визначення чи є пухлина злоякісною, чи доброякісною.

Визначення логістичної моделі

Нехай є деяка випадкова величина $Y,\,$ що може набувати лише двох значень, які, як правило, позначаються цифрами 0 і 1. Нехай ця величина залежить від деякої множини пояснювальних змінних $x=(1,x_{1},\ldots ,x_{n})^{T}.$ Залежність $Y,\,$ від $x_{1},\ldots ,x_{n}.$ можна визначити ввівши додаткову змінну y*, де $y^{*}=\theta ^{T}x=\theta _{0} \theta _{1}x_{1} \ldots \theta _{n}x_{n} \varepsilon .$ Тоді:

$Y={\begin{cases}0,&y^{*}\leqslant 0\\1,&y^{*}>0\end{cases}}$

При визначенні логістичної моделі стохастичний доданок $\varepsilon$ вважається випадковою величиною з логістичним розподілом ймовірностей. Відповідно для певних конкретних значень змінних $x^{*}=x_{1}^{*},\ldots ,x_{n}^{*}$ одержується відповідне значення $y^{*}$ і ймовірність того, що $Y=1,$ така:

$p(Y=1)=p(y^{*}>0)=p(\theta ^{T}x^{*} \varepsilon >0)=p(\varepsilon >-\theta ^{T}x^{*})=p(\varepsilon \leqslant \theta ^{T}x^{*})=\Lambda (\theta ^{T}x^{*}).$

Передостання рівність випливає з симетричності логістичного розподілу, $\Lambda$ позначає логістичну функцію — функцію розподілу логістичного розподілу:

$\Lambda (x)={\frac {e^{x}}{1 e^{x}}}={\frac {1}{1 e^{-x}}}$

Таким чином для конкретного значення $x^{i}$ випадкова величина $Y^{i},\,$ має розподіл Бернуллі: $Y^{i}\ \sim B(1,\Lambda (\theta ^{T}x^{i})).$

Логіт-модель задовольняє наступній умові:

$\ln {\frac {p(1|X)}{1-p(1|X)}}=\ln {\frac {p(1|X)}{p(0|X)}}=b_{0} b_{1}x_{1} ... b_{J}x_{J}$

Оцінка параметрів

Оцінка параметрів $\theta _{0},\theta _{1},...,\theta _{n}$ на основі деякої вибірки $(x^{(1)},Y^{(1)}),...,(x^{(m)},Y^{(m)})$, де $x^{(i)}\in \mathbb {R} ^{n}$ — вектор значень незалежних змінних, а $Y^{(i)}\in \{0,1\}$ — відповідне їм значення $Y,$ як правило здійснюється за допомогою методу максимальної правдоподібності, згідно з яким вибираються параметри $\theta$, що максимізують значення функції правдоподібності на вибірці:

${\hat {\theta }}={\mbox{argmax}}_{\theta }L(\theta )={\mbox{argmax}}_{\theta }\prod _{i=1}^{m}\Pr\{Y=Y^{(i)}|x=x^{(i)}\}.$

Максимізація функції правдоподібності еквівалентна максимізації її логарифма:

$\log L(\theta )=\sum _{i=1}^{m}\log \Pr\{Y=Y^{(i)}|x=x^{(i)}\}=\sum _{i=1}^{m}Y^{(i)}\log \Lambda (\theta ^{T}x^{(i)}) (1-Y^{(i)})\log(1-\Lambda (\theta ^{T}x^{(i)})).$

Для максимізації цієї функції може бути застосований, наприклад, метод градієнтного спуску, метод Ньютона чи стохастичний градієнтний спуск.

Примітки

Логістична функція: $\Lambda (x)={\frac {1}{1 e^{-x}}}$.

Див. також

• Логістичний розподіл

Література

• Alan. Agresti: Categorical Data Analysis. Wiley-Interscience, Nowy Jork, 2002. ISBN 0-471-36093-7.
• T. Amemiya: Advanced Econometrics. Harvard University Press, 1985. ISBN 0-674-00560-0.
• N. Balakrishnan: Handbook of the Logistic Distribution. Marcel Dekker, Inc., 1991. ISBN 978-0-8247-8587-1.
• William H. Green: Econometric Analysis, fifth edition. Prentice Hall, 2003. ISBN 0-13-066189-9.
• Hosmer, David W., Stanley Lemeshow (2000). Applied Logistic Regression, 2nd ed.. New York; Chichester, Wiley. ISBN 0-471-35632-8.
• Kleinbaum D.G., Logistic regression. A self-learning text, Springer-Verlag, 1994.