DANGER! Это место вызывает сомнения или непонимание! В комментах говорят об ошибках в терминологии - надо разобраться, что именно называется Impurity function |
![]() |
Критерий информативности (или критерий "перемешанности" классов, Impurity function) - эвристика того, насколько классы перемешаны в некотором подмножестве выборки. Используется для нахождения оптимального разбиения в узлах решающих деревьев.
Содержание
Формальное определение[]
, где - априорная вероятность встретить объект класса в (то есть количество объектов обучающей выборки с метками класса , попавших в , поделённое на общее количество объектов в ).
Свойства Impurity function как функции от :[]
- минимум в
- максимум в
Примеры Impurity function[]
Для регрессии[]
- MSE
- MAE
Для классификации[]
Ошибка классификации[]
Интерпретация: частота ошибок при классификации наиболее мощным классом.
Энтропия[]
Интерпретация: мера неопределённости случайной величины.
Критерий Джини[]
Интерпретация: вероятностьь ни
правильной классификации, если предсказывать классы с вероятностями их появления в этом узле