Машинное обучение вики
Регистрация
NikEYN (обсуждение | вклад)
мНет описания правки
Метки: Визуальный редактор apiedit
NikEYN (обсуждение | вклад)
Нет описания правки
Метка: rte-source
Строка 11: Строка 11:
 
<math> L(f) = \sum_{y=1}^{C}p(y|x)\lambda_{yf} </math>
 
<math> L(f) = \sum_{y=1}^{C}p(y|x)\lambda_{yf} </math>
   
Тогда оптимальным классификатором будет:
+
Тогда оптимальным классификатором будет:
   
 
<math> a(x) = argmin_fL(f) </math>
 
<math> a(x) = argmin_fL(f) </math>
   
Выбор такого классификатора <math> a(x) </math> называется байесовским правилом минимальной цены (то есть это означает, что для каждого объекта должен быть предсказан тот класс, который даст меньший суммарный штраф, вычисленный по правилу: штраф за предсказание класса <math>f</math> равен произведению вектора-строки апостериорных вероятностей классов на <math>f</math>-ый столбец матрицы штрафов.).
+
Выбор такого классификатора <math> a(x) </math> называется байесовским правилом минимальной цены (то есть это означает, что для каждого объекта должен быть предсказан тот класс, который даст меньший суммарный штраф, вычисленный по правилу: штраф за предсказание класса <math>f</math> равен произведению вектора-строки апостериорных вероятностей классов на <math>f</math>-ый столбец [[Матрица штрафов (Cost matrix)|матрицы штрафов]] .).
   
 
Упростим задачу. Пускай <math> \lambda_{yf} = \lambda_{y}[y \neq f] </math>; то есть мы штрафуем только за неправильные ответы и размер штрафа зависит только от истинного класса. Тогда ожидаемая цена будет выглядеть:
 
Упростим задачу. Пускай <math> \lambda_{yf} = \lambda_{y}[y \neq f] </math>; то есть мы штрафуем только за неправильные ответы и размер штрафа зависит только от истинного класса. Тогда ожидаемая цена будет выглядеть:
Строка 25: Строка 25:
 
<math> a(x) = argmin_fL(f) = argmax_f p(f|x) \lambda_f </math>
 
<math> a(x) = argmin_fL(f) = argmax_f p(f|x) \lambda_f </math>
   
Теперь, если сделать штраф одинаковым для всех <math> y </math>, то:
+
Теперь, если сделать штраф одинаковым для всех <math> y </math>, то получится решающее правило, называемое байесовским правилом максимальной апостериорной вероятности классов (Bayes minimum error decision rule):
   
 
<math> a(x) = argmax_f p(f|x) </math>.
 
<math> a(x) = argmax_f p(f|x) </math>.

Версия от 15:47, 12 января 2017

Пусть : выборка, : множество всех возможных объектов, : множество ответов (метки классов) на . В байесовском подходе предполагается, что выборка берётся независимо из некоторого распределения: .

называется априорной вероятностью, называется функцией правдоподобия.

Пуст цена предсказания класса объекту с истинным классом . Матрица называется матрицей штрафов. Тогда ожидаемая цена предсказания класса , объекту :

Тогда оптимальным классификатором будет:

Выбор такого классификатора называется байесовским правилом минимальной цены (то есть это означает, что для каждого объекта должен быть предсказан тот класс, который даст меньший суммарный штраф, вычисленный по правилу: штраф за предсказание класса равен произведению вектора-строки апостериорных вероятностей классов на -ый столбец матрицы штрафов .).

Упростим задачу. Пускай ; то есть мы штрафуем только за неправильные ответы и размер штрафа зависит только от истинного класса. Тогда ожидаемая цена будет выглядеть:

Первое слагаемое не зависит от , поэтому:

Теперь, если сделать штраф одинаковым для всех , то получится решающее правило, называемое байесовским правилом максимальной апостериорной вероятности классов (Bayes minimum error decision rule):

.

Покажем, что данный классификатор минимизирует функционал среднего риска. Рассмотрим произвольный классификатор . Тогда:

Что и требовалось доказать.