Критерий информативности (Impurity function)

DANGER! Это место вызывает сомнения или непонимание! В комментах говорят об ошибках в терминологии - надо разобраться, что именно называется Impurity function

Критерий информативности (или критерий "перемешанности" классов, Impurity function) - эвристика того, насколько классы перемешаны в некотором подмножестве выборки. Используется для нахождения оптимального разбиения в узлах решающих деревьев.

Формальное определение

$\mathrm {I} (t)=\mathrm {I} (p(w_{1}|t),...,p(w_{C}|t))$, где $p(w_{i}|t)$ - априорная вероятность встретить объект класса $i$ в $t$ (то есть количество объектов обучающей выборки с метками класса $i$, попавших в $t$, поделённое на общее количество объектов в $t$).

Свойства Impurity function как функции от $p_{1}...p_{C}$:

• минимум в $p_{i}=1;p_{j}=0,j\neq i$
• максимум в $p_{1}=...=p_{C}=1/C$

Примеры Impurity function

Для регрессии

• MSE
• MAE

Для классификации

Ошибка классификации

$\mathrm {I} (p_{1}...p_{C})=1-\max _{i}p_{i}$

Интерпретация: частота ошибок при классификации наиболее мощным классом.

Энтропия

$\mathrm {I} (p_{1}...p_{C})=-\sum _{i}p_{i}\ln p_{i}$

Интерпретация: мера неопределённости случайной величины.

Критерий Джини

$\mathrm {I} (p_{1}...p_{C})=\sum _{k\neq k'}p_{k}p_{k'}=\sum _{i}p_{i}(1-p_{i})$

Интерпретация: вероятностьь ни

правильной классификации, если предсказывать классы с вероятностями их появления в этом узле