ROC-кривая

Это незавершённая статья Автор, вероятно, переобучился и отправился спать. Вы можете помочь, экстраполировав местную информацию.

TPR и FPR

Рассмотрим случай бинарной классификации ($y_i \in \{-1, +1\}$). Пусть $a(x)$ - классификатор который оценивает вероятность принадлежности объекта $x$ к положительному классу. Рассмотрим некоторый порог $\mu$ по которому будем строить предсказание. Отнесем объект x к положительному классу если $a(x) \geqslant \mu$, иначе к отрицательному. Построим для него матрицу ошибок и найдем значения TP, TN, FP, FN, и введем две метрики:

• True positive rate. $TPR = \frac{TP}{TP+FN}$
• False positive rate. $FPR = \frac{FP}{TN+FP}$

TPR полностью совпадает с полнотой, и показывает долю верно предсказанных классов у объектов относящихся к положительному классу.

FPR — это доля неправильно угаданных классов среди объектов отрицательного класса.

Кривая ошибок (ROC-curve)

Так как TPR и FPR считались для фиксированного порога $\mu \in [0, 1]$ то их можно представить в виде функций с параметром $\mu$: $TPR = TPR(\mu), FPR = FPR(\mu)$. При этом обе функции монотонно возрастают от $0$ до $1$, а значит определена функция:

ROC-кривые для разных методов

$ROC = TPR(FPR)$

(более формально: $ROC(x) = TPR(FPR^{-1}(x)), x \in [0, 1]$).

Которая называется рабочей характеристикой приемника (reciever operation characteristic, ROC). График функции называется ROC-кривой или кривой или кривой ошибок.

• Всегда начинается в (0, 0) и заканчивается в (1, 1).
• Как правило у хорошего классификатора кривая лежит по большей части, либо целиком выше линии y=x. Это связано с тем что при хорошей классификации надо получать максимальный TPR при минимальном FPR.

AUC-ROC

Как уже было сказано выше чем больший мы можем получить TPR при меньшем FPR тем лучше. Поэтому можем ввести следующую метрику оценивающую качество работы классификатора:

$AUC = \int_0^1 TPR ~dFPR$.

Которая является площадью под графиком ROC-кривой (area under curve, AUC).

Методы построения

лень...