мНет описания правки Метки: Визуальный редактор apiedit |
Нет описания правки Метка: rte-source |
||
Строка 11: | Строка 11: | ||
<math> L(f) = \sum_{y=1}^{C}p(y|x)\lambda_{yf} </math> |
<math> L(f) = \sum_{y=1}^{C}p(y|x)\lambda_{yf} </math> |
||
− | Тогда оптимальным классификатором будет: |
+ | Тогда оптимальным классификатором будет: |
<math> a(x) = argmin_fL(f) </math> |
<math> a(x) = argmin_fL(f) </math> |
||
− | Выбор такого классификатора <math> a(x) </math> называется байесовским правилом минимальной цены (то есть это означает, что для каждого объекта должен быть предсказан тот класс, который даст меньший суммарный штраф, вычисленный по правилу: штраф за предсказание класса <math>f</math> равен произведению вектора-строки апостериорных вероятностей классов на <math>f</math>-ый столбец матрицы штрафов.). |
+ | Выбор такого классификатора <math> a(x) </math> называется байесовским правилом минимальной цены (то есть это означает, что для каждого объекта должен быть предсказан тот класс, который даст меньший суммарный штраф, вычисленный по правилу: штраф за предсказание класса <math>f</math> равен произведению вектора-строки апостериорных вероятностей классов на <math>f</math>-ый столбец [[Матрица штрафов (Cost matrix)|матрицы штрафов]] .). |
Упростим задачу. Пускай <math> \lambda_{yf} = \lambda_{y}[y \neq f] </math>; то есть мы штрафуем только за неправильные ответы и размер штрафа зависит только от истинного класса. Тогда ожидаемая цена будет выглядеть: |
Упростим задачу. Пускай <math> \lambda_{yf} = \lambda_{y}[y \neq f] </math>; то есть мы штрафуем только за неправильные ответы и размер штрафа зависит только от истинного класса. Тогда ожидаемая цена будет выглядеть: |
||
Строка 25: | Строка 25: | ||
<math> a(x) = argmin_fL(f) = argmax_f p(f|x) \lambda_f </math> |
<math> a(x) = argmin_fL(f) = argmax_f p(f|x) \lambda_f </math> |
||
− | Теперь, если сделать штраф одинаковым для всех <math> y </math>, то: |
+ | Теперь, если сделать штраф одинаковым для всех <math> y </math>, то получится решающее правило, называемое байесовским правилом максимальной апостериорной вероятности классов (Bayes minimum error decision rule): |
<math> a(x) = argmax_f p(f|x) </math>. |
<math> a(x) = argmax_f p(f|x) </math>. |
Версия от 15:47, 12 января 2017
Пусть : выборка, : множество всех возможных объектов, : множество ответов (метки классов) на . В байесовском подходе предполагается, что выборка берётся независимо из некоторого распределения: .
называется априорной вероятностью, называется функцией правдоподобия.
Пуст цена предсказания класса объекту с истинным классом . Матрица называется матрицей штрафов. Тогда ожидаемая цена предсказания класса , объекту :
Тогда оптимальным классификатором будет:
Выбор такого классификатора называется байесовским правилом минимальной цены (то есть это означает, что для каждого объекта должен быть предсказан тот класс, который даст меньший суммарный штраф, вычисленный по правилу: штраф за предсказание класса равен произведению вектора-строки апостериорных вероятностей классов на -ый столбец матрицы штрафов .).
Упростим задачу. Пускай ; то есть мы штрафуем только за неправильные ответы и размер штрафа зависит только от истинного класса. Тогда ожидаемая цена будет выглядеть:
Первое слагаемое не зависит от , поэтому:
Теперь, если сделать штраф одинаковым для всех , то получится решающее правило, называемое байесовским правилом максимальной апостериорной вероятности классов (Bayes minimum error decision rule):
.
Покажем, что данный классификатор минимизирует функционал среднего риска. Рассмотрим произвольный классификатор . Тогда:
Что и требовалось доказать.