Типы моделей

Генеративная модель

• Моделируется распределение $p(x,y)$
• Может генерировать новые наблюдения

${\begin{aligned}{\hat {y}}(x)&=\arg \max _{y}p(y|x)=\arg \max _{y}{\frac {p(x,y)}{p(x)}}=\\&=\arg \max _{y}p(y)p(x|y)=\arg \max _{y}{\lbrace \log {p(y)}+\log {p(x|y)}\rbrace }\end{aligned}}$

• Может быть отрегулирована относительно варьирующейся $p(y)$
• Приспособлена к обработке отсутствующих значений (путём усреднени)
• Легко распознаёт выбросы (по маленькой $p(x)$)

Однако:

• Генеративные модели являются более общими
• $p(x|y)$ может быть неточной для пространств большой размерности

Дискриминативная модель

• Моделируется распределение $p(y|x)$ (дискриминативная модель с вероятностью)
• Также есть усечённая дискриминативная модель (моделируется лишь $y=f(x)$)

Типы признаков

Полное описание объекта $\mathbf {x} \in X$ зависит от индивидуальных признаков $x_{i}\in X_{i}$

• $X_{i}=\lbrace 0,1\rbrace$ — бинарный признак
• $|X_{i}|<\infty$ — дискретный(номинальный) признак
• $|X_{i}|<\infty$ и $X_{i}$ упорядочен — ординальный признак
• $X_{i}=\mathbb {R}$ — действительный признак

Типы откликов

• $Y=\mathbb {R}$ — регрессия (обучение с учителем)
• $Y=\mathbb {R} ^{M}$ — векторная регрессия(обучение с учителем) / извлечение признаков(обучение без учителя)
• $Y=\lbrace \omega _{1},\omega _{2},\dots ,\omega _{C}\rbrace$ — классификация(обучение с учителем) / кластеризация(обучение без учителя)
  • $C=2$: бинарная классификация, кодирование — $Y=\lbrace +1,-1\rbrace$ или $Y=\lbrace 0,1\rbrace$
  • $C>2$: многоклассовая классификация

• $Y$ — множество всех подмножеств $\lbrace \omega _{1},\omega _{2},\dots ,\omega _{C}\rbrace$ — задача маркировки
  • $Y=\lbrace y\in \mathbb {R} ^{C}:y_{i}\in \lbrace 0,1\rbrace \rbrace ,y_{i}=1\Leftrightarrow$ объект ассоциируется с $\omega _{i}$

Ссылки

• Лекция Китова (стр. 11-14)
• Лекция Воронцова (стр. 4-5)