Матрица ошибок (Confusion matrix)

Матрица ошибок (confusion matrix)

Пусть дана выборка $x_{i}$ ($i=1,\dots ,N$, $y_{i}$ - метка класса i-го объекта, $y_{i}\in \{1,2,\dots ,C\}$), каждый объект которой относится к одному из $C$ классов и классификатор $a$, который эти классы предсказывает. Матрицей ошибок для такого классификатора называется следующая матрица: $M=\{m_{ij}\}_{i,j=0}^{C},~m_{ij}=\sum _{k=0}^{N}\mathbb {I} [a(x_{k})=j]\mathbb {I} [y_{k}=i]$.

Такая матрица показывает сколько объектов класса $i$ были распознаны как объекты класса $j$.

 Случай бинарной классификации

	$y=1$	$y=-1$
$a(x)=1$	TP	FP
$a(x)=-1$	FN	TN

В случае бинарной классификации метка класса $y$ принимает значение $+1$ (положительный класс) или $-1$ (отрицательный). Вводятся 4 величины, соответствующие элементам матрицы ошибок:

• True positive (TP). $TP=\sum _{i=0}^{n}[a(x_{i})=+1][y_{i}=+1]$
• True negative (TN). $TN=\sum _{i=0}^{n}[a(x_{i})=-1][y_{i}=-1]$
• False positive (FP). $FP=\sum _{i=0}^{n}[a(x_{i})=+1][y_{i}=-1]$
• False negative (FN). $FN=\sum _{i=0}^{n}[a(x_{i})=-1][y_{i}=+1]$

P означает что классификатор определяет класс объекта как положительный (N - отрицательный). T - значит что класс предсказан правильно (соответственно F - неправильно).

Ахтунг! Не путать с матрицей штрафов.

Точность, полнота, F мера.

accuracy $={\frac {TP+TN}{TP+FP+FN+TN}}$

precision $={\frac {TP}{TP+FP}}$

recall $={\frac {TP}{TP+FN}}$

$F={\frac {2*precision*recall}{precision+recall}}$

Литература:

• Китов лекции по оценкам классификаторов (2-7 слайды)