AUC-ROC
При прогнозировании вероятности чем больший мы можем получить TPR при меньшем FPR, тем лучше качество классификатора. Поэтому можем ввести следующую метрику, оценивающую качество работы классификатора, вычисляющего вероятность принадлежности объекта к положительному классу:
.
Которая является площадью под графиком ROC-кривой (area under curve, AUC).
- .
- значит классификатор идеально разделяет классы.
- классификатор с эквивалентен случайной величине которая равновероятно(но это не точно) принимает значения и . Отсюда если то классификатор предсказывает класс объекта лучше чем (здесь имеется ввиду что и возвращают вероятность принадлежности к положительному классу).
- AUC равен вероятности того что случайно выбранный объект положительного класса окажется в отсортированном списке правее случайно выбранного объекта отрицательного класса.
Пусть классификатор выдает на выборке вероятности соответственно. Отсортируем вероятности в порядке возрастания: , и этим вероятностям соответствуют объекты и метки классов соответственно. Тогда можно вывести следующую формулу для вычисления AUC-ROC метрики на практике:
. - количество объектов положительного и отрицательного классов соответственно.