Машинное обучение вики
Advertisement

СТАТЬЯ ДЛЯ ТЕОРМИНА

Основные понятия[]

Пусть : выборка, : множество всех возможных объектов, : множество ответов (метки классов) на . В байесовском подходе предполагается, что выборка берётся независимо из некоторого распределения: .

называется априорной вероятностью, называется функцией правдоподобия.

Байесовское правило минимальной цены (Bayes minimum cost decision rule)[]

Пусть цена предсказания класса объекту с истинным классом . Матрица называется матрицей штрафов. Тогда ожидаемая цена предсказания класса объекту равна

Тогда оптимальным классификатором будет классификатор:

Выбор такого классификатора называется байесовским правилом минимальной цены (Bayes minimum cost decision rule) (то есть это означает, что для каждого объекта должен быть предсказан тот класс, который даст меньший суммарный штраф, вычисленный по правилу: штраф за предсказание класса равен произведению вектора-строки апостериорных вероятностей классов на -ый столбец матрицы штрафов).

Пусть дан классификатор

Вероятность признать объект класса y объектом класса s:

Тогда логичным выглядит введение мат.ожидания потери (штрафа) для классификатора (функционал среднего риска):

Первый частный случай[]

Упростим задачу. Пускай ; то есть мы штрафуем только за неправильные ответы и размер штрафа зависит только от истинного класса. Тогда ожидаемая цена будет иметь вид:

Первое слагаемое не зависит от , поэтому:

Второй частный случай (байесовское правило максимальной апостериорной вероятности классов (Bayes minimum error decision rule))[]

Теперь, если сделать штраф одинаковым для всех , то получится решающее правило, называемое байесовским правилом максимальной апостериорной вероятности классов (Bayes minimum error decision rule):

.

Покажем, что данный классификатор минимизирует функционал среднего риска. Рассмотрим произвольный классификатор . Тогда:

Что и требовалось доказать.

Advertisement