Машинное обучение вики
Advertisement

Решающие деревья[]

Решающее дерево — алгоритм классификации, основанный на поиске конъюктивных закономерностей. Дерево — конечный ацикличный связный граф, имеющий выделенную вершину, не имеющую входящих ребер — корень дерева. Вершины, не имеющие выходящих ребер называются листьями. В каждой вершине дерева записано решающее правило, делящее входные объекты на n классов.

Алгоритм CART[]

CART (classification and regression trees) — алгоритм, решающий задачи классификации и регрессии. В CART решающее правило имеет вид бинарной пороговой функции одного признака. Решающее правило должно делить выборку наилучшим способом на две части и относительно критерия информативности .

Нужно найти порог и признак (t - индекс вершины), при которых достигается максимум следующего критерия , где — impurity function.

Виды impurity function[]

Критерий Джини

Интерпретация: вероятность допустить ошибку при выборе порога и признака .

Энтропийный критерий

Интерпретация: мера неопределенности случайной величины

Ошибка классификации

Интерпретация: частота ошибок при классификации наиболее мощным классом.

Случай регрессии

Для задач регрессии обычно используют MSE или MAE.

Аня: нужны ссылки на статьи c MSE и MAE

Ссылки[]

Слайды лекции В. Китова

Конспект семинаров по машинному обучению

Лекции В. Китова

Advertisement