Оценки классификаторов

Везде ниже $x$ - элемент выборки, $y$ - метка класса, $a(x)$ - классификатор.

Также $TP, FP, FN, TN$ - значения матрицы ошибок бинарной классификации.

Доля правильно классифицированных объектов (accuracy, ДПКО)

ДПКО - самая простая оценка классификации:

$Accuracy(a) = \frac{\sum _{i=1}^N \mathbb{I}[a(x_i) = y_i]}{N} = \frac{TP + TN}{TP+TN+FP+FN}$.

по сути это вероятность того что класс будет предсказан правильно.

Например если мы ловим сумасшедших, ДПКО показывает сколько мы поставили правильных диагнозов.

• Работает для многоклассовой классификации
• Плохо работает при высокой априорной вероятности у одного из классов, в таком случае константное предсказание может давать высокое значение accuracy (равное этой априорной вероятности).

Точность (Precision)

$Precision(a) = \frac{TP}{TP+FP}$.

Точность показывает какую долю объектов, распознанных как положительного класса, мы предсказали верно.

На примере - точность это сколько из пойманных нами и посаженных в психушку людей реально сумасшедшие.

• Только бинарная классификация
• Не зависит от априорной вероятности положительного класса.

Полнота (Recall)

$Recall(a) = \frac{TP}{TP+FN}$.

Полнота показывает какую долю объектов, реально относящихся к положительному классу, мы предсказали верно.

На примере - полнота это сколько из сумасшедших людей которых мы проверили, мы посадили в психушку.