Градиентный бустинг

from xgboost import * © Сева В.

Пусть дана выборка $X,y$ (матрица объекты-признаки $N\times D$ и столбец меток $N$) умеем обучать алгоритм $h:\mathbb {R} ^{D}\rightarrow \mathbb {R}$. Хотим ансамблировать много таких алгоритмов с целью улучшения качества работы метода. Градиентный бустинг решает как раз такую задачу, результатом работы метода является алгоритм $f(x)=\alpha _{0}h_{0}(x)+\alpha _{1}h_{1}(x)+\alpha _{2}h_{2}(x)+\dots +\alpha _{T}h_{T}(x)$. Будем обучать алгоритмы $h_i$ следующим образом: положим $h_{0}(x)=0$, теперь итеративно обучаем $h_{t+1}$ при уже обученном методе $f_{t}(x)=\sum _{i=0}^{t}\alpha _{i}h_{i}(x)$. Рассмотрим точку f_t(X) = y