Мультиномиальная модель

Пусть $x$ — объект из выборки

$x^k$ — его $k$-й признак

Рассмотрим различные модели для классификации текстов. Объектами в данном случае являются документы.

Мультиномиальная модель

В мультиномиальной модели, в отличие от модели Бернулли, учитывается количество вхождений каждого слова в документ.

Неплохое объяснение можно найти здесь (самое интересное с 5 слайда)

$w_k, k = 1, 2, ..., D$ - все уникальные слова в корпусе

$x^k$ — количество встреч слова $w_k$ в документе

$\theta_y^k$ — вероятность встречи слова $w_k$ на словопозиции

$\begin{align} \widehat{y}(x) = \textrm{(1)} = \underset{y}{argmax}\;p(y|x) = \underset{y}{argmax} \; p(y)p(x|y) = \\ \textrm{(2)} = \underset{y}{argmax}\; p(y) \frac{(\sum^D_{k=1} x^k)!}{\prod^D_{k=1} x^k!} \prod^D_{k=1} (\theta_y^k)^{x^k} = \\ \underset{y}{argmax} \; \ln{p(y)} + \sum^D_{k=1}(x^k \ln{\theta_y^k}) \end{align}$

где $p(y) = \frac{N_y}{N},\;\theta_y^k = \frac{n_{yk} + \alpha}{n_y + \alpha D}$ — эмпирические оценки вероятностей

$N_y$ — Кол-во документов класса $y$

$n_y$ — Всего слов в документах класса $y$

$n_{yk}$ — Кол-во встреч слова $w_k$ в документах класса $y$

(1) — Байесовское правило максимальной апостериорной вероятности классов

(2) — Предположение "наивного Байеса"

Сглаживание вероятностей Лапласа

$\alpha\ge 0$ — можно интерпретировать как добавление к выборке документа класса $y$, который содержит все слова $\alpha$ раз.

Добавление $\alpha$ называется аддитивным сглаживанием (сглаживанием Лапласа)

Мультиномиальная модель как линейный классификатор

Мультиномиальная модель является линейным классификатором (из вида дискриминантной функции видно, что она зависит линейно от $x^k$)

Литература

• Лекции Китова, последние слайды