Машинное обучение вики
Advertisement

from xgboost import * © Сева В.

Градиентный спуск[]

Все кто знает метопты знает также, что для минимизации функции можно действовать следующим алгоритмом:

-- задано произвольным образом.

, где .

тогда где .

Градиентный бустинг[]

Пусть дана выборка (матрица объекты-признаки и столбец меток ) умеем обучать алгоритм . Хотим ансамблировать много таких алгоритмов с целью улучшения качества работы метода, пусть качество метода оценивается метрикой J(y). Градиентный бустинг решает как раз такую задачу, результатом работы метода является алгоритм . Будем обучать алгоритмы следующим образом: положим , теперь итеративно обучаем при уже обученном методе . Рассмотрим точку . чет мне лень дальше писать, завтра допишу.

Ссылка на статью про бустинг и AdaBoost.

Advertisement