Разложение среднеквадратичной ошибки на смещение и дисперсию (Bias-Variance decomposition)

Bias-Variance decomposition в объекте

Пусть $y=f(x)+\varepsilon ,\varepsilon \sim {\mathcal {N}}(0,\sigma ^{2})$ и производится обучение алгоритма ${\hat {f}}(\mathbb {X} )(x)$ на некоторой выборке $\mathbb {X,Y}$. Тогда среднеквадратичный риск $R({\hat {f}})=\mathbb {E} _{\mathbb {X} ,\mathbb {Y} }({\hat {f}}(\mathbb {X} )(x)-y)^{2}$ можно выразить, как:

$R({\hat {f}})=\left(\mathbb {E} _{\mathbb {X} ,\mathbb {Y} }{\hat {f}}(\mathbb {X} )(x)-f(x)\right)^{2}+\mathbb {E} _{\mathbb {X} ,\mathbb {Y} }\left({\hat {f}}(\mathbb {X} )(x)-\mathbb {E} _{\mathbb {X} ,\mathbb {Y} }{\hat {f}}(\mathbb {X} )(x)\right)^{2}+\sigma ^{2}$

• $\left(\mathbb {E} _{\mathbb {X} ,\mathbb {Y} }{\hat {f}}(\mathbb {X} )(x)-f(x)\right)^{2}$ --- квадрат смещения.

• $\mathbb {E} _{\mathbb {X} ,\mathbb {Y} }\left({\hat {f}}(\mathbb {X} )(x)-\mathbb {E} _{\mathbb {X} ,\mathbb {Y} }{\hat {f}}(\mathbb {X} )(x)\right)^{2}$ --- разброс.

• $\sigma ^{2}$ --- неустранимый шум.

Более короткая запись:

${\text{MSE}}={\text{bias}}^{2}+{\text{variance}}+{\text{noise}}$

Доказательство

Подробно доказательство проводится тут

Bias-Variance decomposition c усреднением по всем объектам

Более подробно почитать про это можно тут

Связь Bias-Variance decomposition и алгоритмов обучения

Смещение алгоритма показывает, насколько хорошо алгоритм приближает реальную зависимость между данными и откликами. Разбор показывает, насколько сильно может меняться ответ в зависимости от выборки, то есть насколько сильно изменится алгоритм при изменениях в выборке.

Алгоритмы с маленьким смещением --- как правило, сложные алгоритмы, например, решающее дерево. Алгоритмы с большим смещением --- как правило, простые алгоритмы, например, линейные классификаторы.

Алгоритмы с маленькой дисперсией --- как правило, простые алгоритмы. Алгоритмы с большой дисперсией --- как правило, сложные алгоритмы.

Также, высокая дисперсия показывает то, что алгоритм, скорее всего переобучен, а высокое смещение --- что недообучен.