Градиентный бустинг

from xgboost import * © Сева В.

Градиентный спуск

Все кто знает метопты знает также, что для минимизации функции $J(u)$ можно действовать следующим алгоритмом:

$u_{0}$ -- задано произвольным образом.

$u_{k+1}=u_{k}-\alpha J'(u_{k})$, где $\alpha ={\underset {\alpha >0}{argmin}}~J(u_{k}-\alpha J'(u_{k}))$.

тогда $u_{k}\rightarrow u^{*}$ где $J(u^{*})={\underset {u}{min}}~J(u)$.

Градиентный бустинг

Пусть дана выборка $X,y$ (матрица объекты-признаки $N\times D$ и столбец меток $N$) умеем обучать алгоритм $h:\mathbb {R} ^{D}\rightarrow \mathbb {R}$. Хотим ансамблировать много таких алгоритмов с целью улучшения качества работы метода, пусть качество метода оценивается метрикой J(y). Градиентный бустинг решает как раз такую задачу, результатом работы метода является алгоритм $f(x)=\alpha _{0}h_{0}(x)+\alpha _{1}h_{1}(x)+\alpha _{2}h_{2}(x)+\dots +\alpha _{T}h_{T}(x)$. Будем обучать алгоритмы $h_{i}$ следующим образом: положим $h_{0}(x)=0$, теперь итеративно обучаем $h_{t+1}$ при уже обученном методе $f_{t}(x)=\sum _{i=0}^{t}\alpha _{i}h_{i}(x)$. Рассмотрим точку $f_{t}(X)={\widetilde {y}}$. чет мне лень дальше писать, завтра допишу.

Ссылка на статью про бустинг и AdaBoost.