Робастная регрессия (Robust regression)

Идея[]

Использование весов для прецедентов с целью снижения влияния "выбросов" в выборке при настройке модели.

Условные обозначения[]

Сергей Иванов: В будущем условные обозначения, принятые во всём курсе, надо перенести в статью по машинному обучению в целом - а то как-то громоздко, оставить здесь только то, что специфично для Робастной регрессии.

$N$ — число объектов в выборке;

$D$ — размер признакового пространства;

$\{(x_{i},y_{i})\}_{i=1}^{N}$ — выборка, $x_{i}\in \mathbb {R} ^{D},y_{i}\in \mathbb {R}$ ;

$w_{i}$ — вес $i$ -го объекта в выборке, $i={\overline {1,N}}$ ;

$B$ — размер вектора параметров модели;

${\mathfrak {L}}(y,x,\beta )$ — функция потерь ${\mathfrak {L}}:\mathbb {R} \times \mathbb {R} ^{D}\times \mathbb {R} ^{B}\rightarrow \mathbb {R}$ ;

$f(x,\beta )$ — настраиваемая модель $f:\mathbb {R} ^{D}\times \mathbb {R} ^{B}\rightarrow \mathbb {R}$ ;

$R(\beta )$ — регуляризация $R:\mathbb {R} ^{B}\rightarrow \mathbb {R} ,\lambda \geq 0$ ;

$K(\cdot )$ — убывающая функция $K:\mathbb {R} \rightarrow \mathbb {R}$ ;

$\beta ,{\hat {\beta }}$ — вектора параметров модели $f$ , $\beta ,{\hat {\beta }}\in \mathbb {R} ^{B}$ .

Алгоритм[]

Описание:[]

Инициализация весов: $w_{1}=\dots =w_{N}={\tfrac {1}{N}}$
Повторение, пока не выполнено условие останова:
- ${\hat {\beta }}=\arg {\underset {\beta }{min}}\left(\sum _{i=1}^{N}w_{i}\cdot {\mathfrak {L}}(y_{i},x_{i},\beta )+\lambda \cdot R(\beta )\right)$
- Для каждого :
  - $w_{i}=K(|f(x_{i},{\hat {\beta }})-y_{i}|)$
- Для каждого :
  - $w_{i}={\tfrac {w_{i}}{\sum _{j=1}^{N}w_{j}}}$

Условие останова:[]

цикл выполнился заданное число раз;
выполнилось условие сходимости параметров модели.

Суть процесса:[]

На каждой итерации внешнего цикла происходит настройка модели (поиск ${\hat {\beta }}$ ). Перед циклом веса объектов были инициализированы одинаково (равны ${\tfrac {1}{N}}$ ). В двух вложенных во внешний цикл циклах содержится реализация идеи использования весов прецедентов с целью снижения влияния "выбросов" в процессе настройки модели. Чем больше значение $|f(x_{i},{\hat {\beta }})-y_{i}|$ , тем больше объект $x_{i}$ похож на выброс. Из убывания функции $K$ следует, что объекты-выбросы будут иметь вес меньше, чем у других объектов выборки. Поэтому большие значения функции потерь ${\mathfrak {L}}$ на объектах-выбросах будут скомпенсированы небольшими весами у этих объектов в минимизируемом функционале. В результате, в процессе поиска параметров модели влияние "выбросов" будет уменьшаться при очередном поиске ${\hat {\beta }}$ . С помощью нормировки веса объектов-выбросов будут приближены к 0. Обычно достаточно повторить внешний цикл заданное число раз, например 8.