Логистическая регрессия

Определение

Логистическая регрессия — это линейный алгоритм классификации с логистической функцией потерь.

$a(x,w)=\operatorname {sgn} \left(\left\langle w,x\right\rangle +b\right)$

$L(M)=\log \left(1+e^{-M}\right)$

Оценка вероятности

Особенность логистической регрессии — возможность получить апостериорные вероятности классов для объектов: $P(y|x)=\sigma \left(\left\langle w,x\right\rangle y\right)$, где $\sigma (z)={\frac {1}{1+e^{-z}}}$ — сигмоидная функция.

Многоклассовая классификация

TODO.

Литература

1. Лекции Воронцова (стр. 62)
2. Семинар 2 декабря(стр. 6-9)
3. Лекция 27 октября (стр. 39-44)