Редактирование: Оценки классификаторов

{{Заготовка}}

Везде ниже <math>x</math> &mdash; элемент выборки, <math>y</math> &mdash; метка класса, <math>a(x)</math> &mdash; классификатор.

Также <math>TP, FP, FN, TN</math> &mdash; значения [[Матрица ошибок (Confusion matrix)#Случай бинарной классификации|матрицы ошибок бинарной классификации]].

== Доля правильно классифицированных объектов (accuracy) ==
Accuracy &mdash; самая простая оценка классификации:

<math>Accuracy(a) = \frac{\sum _{i=1}^N \mathbb{I}[a(x_i) = y_i]}{N} = \frac{TP + TN}{TP+TN+FP+FN}</math>.

по сути это вероятность того, что класс будет предсказан правильно.

Например, если мы ловим сумасшедших, accuracy показывает долю правильных диагнозов.
* Работает для многоклассовой классификации.
* Плохо работает при высокой априорной вероятности у одного из классов. В таком случае константное предсказание может давать высокое значение accuracy (равное этой априорной вероятности).

== Точность (Precision) ==
<math>Precision(a) = \frac{TP}{TP+FP}</math>.

Точность показывает какую долю объектов, '''распознанных''' как объекты положительного класса, мы предсказали верно.

На примере: точность &mdash; это сколько из пойманных нами и посаженных в психушку людей реально сумасшедшие.
* Только бинарная классификация
* Не зависит от априорной вероятности положительного класса.

== Полнота (Recall) ==
<math>Recall(a) = \frac{TP}{TP+FN}</math>.

Полнота показывает какую долю объектов, '''реально''' относящихся к положительному классу, мы предсказали верно. 

На примере: полнота &mdash; это сколько из сумасшедших людей, которых мы проверили, мы посадили в психушку.
* Только бинарная классификация
* Не зависит от априорной вероятности положительного класса.

== F-мера ==
Точность и полнота хорошо оценивают качество классификатора для задач со смещенной априорной вероятностью, но если мы обучили модель с высокой точностью, то может случиться так, что полнота у такого классификатора низкая и наоборот. Чтобы связать точность с полнотой вводят F-меру как среднее гармоническое точности и полноты:

<math>Fmeasure = \frac{2 Precision \cdot Recall}{Precision + Recall}</math>

В некоторых задачах одна метрика важнее другой (например при выдаче поисковых запросов полнота важнее точности, неинтересные страницы мы можем сами пропустить, а вот если поисковик пропустит несколько страниц то мы можем остаться без каких то важных деталей). Для установления важности конкретной метрики мы рассматриваем параметрическую F-меру:

<math>Fmeasure_{\beta} = \frac {(1 + \beta^2) Precision \cdot Recall}{\beta^2 Precision + Recall}</math>.

Где <math>\beta \in [0, \infty)</math>, при <math>\beta = 0</math> получаем точность, при <math>\beta = 1</math> непараметрическую F-меру, при <math>\beta = \infty</math> полноту.

== Кросс-энтропия ==
{{TODO}}это доп фича, так что пока мне лень ее расписывать.

== Оценивание качества предсказания вероятностей ==
{{TODO}} добавить инфы с 10-го слайда [http://www.machinelearning.ru/wiki/images/4/4b/Kitov-ML-eng-06-Classifier_evaluation.pdf лекций Китова]

<nowiki> </nowiki>Для классификатора оценивающего вероятность <math>\hat{p}(y|x)</math> принадлежности объекта <math>x</math> к классу <math>y</math> вводятся следующие оценки качества предсказания:

<nowiki> </nowiki>Правдоподобие (propability likelyhood):

<nowiki> </nowiki><math>Likelyhood(\hat{p}) =  \prod _{n=1} ^N \hat{p}(y_n|x_n)</math>

Brier score:

<math>BS  = \frac{1}{N} \sum _{n = 1} ^N \sum _{c = 1} ^C (\mathbb{I}[y_n = c] - \hat{p}(y=c|x_n))^2</math>

[[AUC-ROC]] также оценивает качество предсказания вероятности.

== True positive rate и False positive rate ==
[[ROC-кривая#TPR и FPR|Вынесено в отдельную статью.]]

== AUC-ROC ==
[[AUC-ROC|Вынесено в отдельную статью.]]