ROC-кривая

TPR и FPR

Рассмотрим случай бинарной классификации ($y_{i}\in \{-1,+1\}$). Пусть $a(x)$ - классификатор, который оценивает вероятность принадлежности объекта $x$ к положительному классу. Рассмотрим некоторый порог $\mu$, по которому будем строить предсказание. Отнесем объект x к положительному классу, если $a(x)\geqslant \mu$, иначе — к отрицательному. Построим для него матрицу ошибок и найдем значения $TP,TN,FP,FN$ и введем две метрики:

• True positive rate: $TPR={\frac {TP}{TP+FN}}$.
• False positive rate: $FPR={\frac {FP}{TN+FP}}$.

TPR полностью совпадает с полнотой, и показывает долю верно предсказанных классов у объектов, относящихся к положительному классу.

FPR — это доля неправильно предсказанных классов среди объектов отрицательного класса.

Кривая ошибок (ROC-curve)

Так как TPR и FPR считались для фиксированного порога $\mu \in [0,1]$ то их можно представить в виде функций от аргумента $\mu$: $TPR=TPR(\mu ),FPR=FPR(\mu )$. При этом обе функции монотонно возрастают от $0$ до $1$, а значит определена функция:

ROC-кривые для разных методов

$ROC=TPR(FPR)$

(более формально: $ROC(x)=TPR(FPR^{-1}(x)),x\in [0,1]$).

Которая называется рабочей характеристикой приемника (reciever operation characteristic, ROC). График функции называется ROC-кривой или кривой ошибок.

• Всегда начинается в $(0,0)$ и заканчивается в $(1,1)$.
• Как правило, у хорошего классификатора кривая лежит по большей части, либо целиком выше прямой $y=x$. Это связано с тем что при хорошей классификации надо получать максимальный $TPR$ при минимальном $FPR$.

см. также AUC-ROC

Метод построения ROC-кривой

Пусть классификатор выдает на выборке $x_{1},x_{2},\dots ,x_{N}$ вероятности $p_{1},p_{2},\dots ,p_{N}$ соответственно. Отсортируем вероятности в порядке возрастания: $p_{(1)}\leqslant p_{(2)}\leqslant \dots \leqslant p_{(N)}$, и этим вероятностям соответствуют объекты $x_{(1)},x_{(2)},\dots ,x_{(N)}$ и метки классов $y_{(1)},y_{(2)},\dots ,y_{(N)}$ соответственно. Разобьем квадрат $[0,1]\times [0,1]$ на координатной плоскости на $N^{-}$ клеток по горизонтали и $N^{+}$ клеток по вертикали (где $N^{+}$ — количество объектов положительного класса, $N^{-}$ — количество объектов отрицательного класса). Начнем рисовать ROC кривую из точки $(0,0)$ и последовательно перебирать метки классов, начиная с $y_{(N)}$ до $y_{(1)}$: если $y_{(i)}=+1$ то рисуем вертикальный отрезок на одну клетку вверх, иначе горизонтальный отрезок на одну клетку вправо. Очевидно, в таком случае мы закончим ROC-кривую в точке $(1,1)$ и она будет отображать зависимость $TPR(FPR)$.

ROC-кривая для оценивания вероятностей случайным образом

DANGER! Это место вызывает сомнения или непонимание! Экзамен показал, что здесь, похоже, всё неверно, а спрашивают часто. Якобы где-то решалась на семинарах.

Если классификатор выдает вероятность равную $p(x)=\xi$, где $\xi$ - равномерно распределенная на отрезке [0, 1] случайная величина, то ROC-кривая такого классификатора будет совпадать с графиком $y=x$, то есть для любого порога $\mu :TPR(\mu )=FPR(\mu )$ (если более формально, то это верно только для матожиданий TPR и FPR, так как $\xi$ случайная величина, и если нам ооочень повезет, то разделение может быть идеальным, а ROC-кривая пройдет через точку (0, 1)).

Зафиксируем некий порог $\mu$. Тогда $\xi <\mu$ с вероятностью $\mu$ и $\xi \geqslant \mu$ с вероятностью $1-\mu$. Пусть в выборке $N^{+}$ объектов положительного класса, и $N^{-}$ отрицательного. Тогда $\mathbb {E} TP=(1-\mu )N^{+},\mathbb {E} FP=(1-\mu )N^{-},\mathbb {E} FN=\mu N^{+},\mathbb {E} TN=\mu N^{-}$. А значит $\mathbb {E} TPR=\mathbb {E} {\frac {TP}{TP+FN}}={\frac {(1-\mu )N^{+}}{(\mu +1-\mu )N^{+}}}=1-\mu =$$={\frac {(1-\mu )N^{-}}{(\mu +1-\mu )N^{-}}}=\mathbb {E} {\frac {FP}{FP+TN}}=\mathbb {E} FPR.$