Kst179 (обсуждение | вклад) Нет описания правки Метки: Визуальный редактор apiedit |
Kst179 (обсуждение | вклад) Метки: Визуальный редактор apiedit |
||
Строка 50: | Строка 50: | ||
== Оценивание качества предсказания вероятностей == |
== Оценивание качества предсказания вероятностей == |
||
{{TODO}} добавить инфы с 10-го слайда [http://www.machinelearning.ru/wiki/images/4/4b/Kitov-ML-eng-06-Classifier_evaluation.pdf лекций Китова] |
{{TODO}} добавить инфы с 10-го слайда [http://www.machinelearning.ru/wiki/images/4/4b/Kitov-ML-eng-06-Classifier_evaluation.pdf лекций Китова] |
||
+ | |||
+ | <nowiki> </nowiki>Для классификатора оценивающего вероятность <math>\hat{p}(y|x)</math> принадлежности объекта <math>x</math> к классу <math>y</math> вводятся следующие оценки качества предсказания: |
||
+ | |||
+ | <nowiki> </nowiki>Правдоподобие (propability likelyhood): |
||
+ | |||
+ | <nowiki> </nowiki><math>Likelyhood(\hat{p}) = \prod _{n=1} ^N \hat{p}(y_n|x_n)</math> |
||
+ | |||
+ | Brier score: |
||
+ | |||
+ | <math>BS = \frac{1}{N} \sum _{n = 1} ^N \sum _{c = 1} ^C (\mathbb{I}[y_n = c] - \hat{p}(y=c|x_n))^2</math> |
||
+ | |||
+ | [[AUC-ROC]] также оценивает качество предсказания вероятности. |
||
== True positive rate и False positive rate == |
== True positive rate и False positive rate == |
Версия от 12:00, 12 января 2017
Это незавершённая статья Автор, вероятно, переобучился и отправился спать. Вы можете помочь, экстраполировав местную информацию. |
Везде ниже — элемент выборки, — метка класса, — классификатор.
Также — значения матрицы ошибок бинарной классификации.
Доля правильно классифицированных объектов (accuracy)
Accuracy — самая простая оценка классификации:
.
по сути это вероятность того, что класс будет предсказан правильно.
Например если мы ловим сумасшедших, accuracy показывает долю правильных диагнозов.
- Работает для многоклассовой классификации.
- Плохо работает при высокой априорной вероятности у одного из классов. В таком случае константное предсказание может давать высокое значение accuracy (равное этой априорной вероятности).
Точность (Precision)
.
Точность показывает какую долю объектов, распознанных как объекты положительного класса, мы предсказали верно.
На примере: точность — это сколько из пойманных нами и посаженных в психушку людей реально сумасшедшие.
- Только бинарная классификация
- Не зависит от априорной вероятности положительного класса.
Полнота (Recall)
.
Полнота показывает какую долю объектов, реально относящихся к положительному классу, мы предсказали верно.
На примере: полнота — это сколько из сумасшедших людей, которых мы проверили, мы посадили в психушку.
- Только бинарная классификация
- Не зависит от априорной вероятности положительного класса.
F-мера
Точность и полнота хорошо оценивают качество классификатора для задач со смещенной априорной вероятностью, но если мы обучили модель с высокой точностью, то может случиться так, что полнота у такого классификатора низкая и наоборот. Чтобы связать точность с полнотой вводят F-меру как среднее гармоническое точности и полноты:
В некоторых задачах одна метрика важнее другой (например при выдаче поисковых запросов полнота важнее точности, неинтересные страницы мы можем сами пропустить, а вот если поисковик пропустит несколько страниц то мы можем остаться без каких то важных деталей). Для установления важности конкретной метрики мы рассматриваем параметрическую F-меру:
.
Где , при получаем точность, при непараметрическую F-меру, при полноту.
Кросс-энтропия
это доп фича, так что пока мне лень ее расписывать.
Оценивание качества предсказания вероятностей
добавить инфы с 10-го слайда лекций Китова
Для классификатора оценивающего вероятность принадлежности объекта к классу вводятся следующие оценки качества предсказания:
Правдоподобие (propability likelyhood):
Brier score:
AUC-ROC также оценивает качество предсказания вероятности.