Разложение среднеквадратичной ошибки на смещение и дисперсию (Bias-Variance decomposition)

Bias-Variance decomposition для объекта

Пусть $y = f(x) + \varepsilon, \varepsilon \sim \mathcal{N}(0, \sigma^2)$ и производится обучение алгоритма $\hat f(\mathbb X)(x)$ на некоторой выборке $\mathbb{X, Y}$. Тогда среднеквадратичный риск $R(\hat f) = \mathbb E_{\mathbb X, \mathbb Y} (\hat f(\mathbb X)(x) - y)^2$ можно выразить, как:

$R({\hat {f}})=\left(\mathbb {E} _{\mathbb {X} ,\mathbb {Y} }{\hat {f}}(\mathbb {X} )(x)-f(x)\right)^{2}+\mathbb {E} _{\mathbb {X} ,\mathbb {Y} }\left({\hat {f}}(\mathbb {X} )(x)-\mathbb {E} _{\mathbb {X} }{\hat {f}}(\mathbb {X} )(x)\right)^{2}+\sigma ^{2}$

• $\left(\mathbb E_{\mathbb X, \mathbb Y} \hat f (\mathbb X)(x) - f(x)\right)^2$ --- квадрат смещения.

• $\mathbb {E} _{\mathbb {X} ,\mathbb {Y} }\left({\hat {f}}(\mathbb {X} )(x)-\mathbb {E} _{\mathbb {X} }{\hat {f}}(\mathbb {X} )(x)\right)^{2}$ --- разброс.

• $\sigma^2$ --- неустранимый шум.

Более короткая запись:

$\text{MSE} = \text{bias}^2 + \text{variance} + \text{noise}$

Доказательство

Подробно доказательство проводится тут

Bias-Variance decomposition c усреднением по всем объектам

Более подробно почитать про это можно тут