Машинное обучение вики
Advertisement

Гауссовский классификатор[]

Основная идея — построить классификатор в предположении того, что функция (так называемая функция правдоподобия, т.е. распределение объектов при фиксированном ответе ) известна для каждого класса и равна плотности многомерного нормального (гауссовского) распределения:

— матрица ковариации.

— вектор математических ожиданий.

— число объектов.

— размерность признакового пространства.

Таким образом, параметрами гауссовского классификатора являются априорные распределения , вектора математических ожиданий и матрицы ковариации , заданные для каждого класса .

Оценка параметров (по методу максимального правдоподобия) и их количество[]

Семинар Соколова, 9 – 10

— число объектов, относящихся к классу

параметров для оценки

Note: — вектор длины . Всего классов центров параметров.

параметров для оценки

Note: — симметричная матрица необходимо задать только параметров. Таких матриц всего по количеству классов.

Еще параметров потребуется для того, чтобы задать все априорные распределения .

Итого: параметров содержит модель гауссовского классификатора без упрощающих предположений.

Оценка апостериорной вероятности[]

Оценим логарифм апостериорной вероятности:

Дискриминантная функция (получаемая из последнего выражения после отбрасывания членов, не зависящих от класса ) имеет вид:

Снижение числа параметров[]

Серьезной проблемой гауссовского классификатора является большое число параметров, которые необходимо каким-то образом подбирать.

Есть несколько способов снизить число параметров:

Квадратичный дискриминантный анализ (Quadratic Discriminant Analysis (QDA)) и линейный дискриминантный анализ (или линейный дискриминант Фишера) (Linear Discriminant Analysis (LDA))[]

Получим явный вид разделяющих поверхностей в этих двух случаях.

Для этого приравняем дискриминантные функции двух классов и таким образом получим уравнение поверхности, разделяющей эти два класса.


Рассмотрим первый частный случай для байесовского правила минимальной цены: .

Тогда дискриминантная функция имеет вид:

Квадратичный дискриминантный анализ[]

Запишем уравнение поверхности:

Отсюда видно, что разделяющая поверхность имеет квадратичный вид относительно .

Линейный дискриминант Фишера[]

Продолжаем рассматривать первый частный случай для байесовского правила минимальной цены: .

Используем предположение о том, что матрицы ковариации для всех классов одинаковы: .

Квадратично зависящие от члены в этом случае сократятся, и получим:

Отсюда видно, что разделяющая поверхность имеет линейный вид относительно .

Практическое применение[]

Ссылки[]

Quadratic discriminant analysis, слайды 2-16

Лекции Китова, слайды 14-21

Advertisement