Машинное обучение вики
Регистрация
Нет описания правки
Метка: rte-source
мНет описания правки
Метка: rte-source
Строка 5: Строка 5:
 
<math>R(\hat f) = \left(\mathbb E_{\mathbb X, \mathbb Y} \hat f (\mathbb X)(x) - f(x)\right)^2 + \mathbb E_{\mathbb X, \mathbb Y} \left(\hat f (\mathbb X)(x) - \mathbb E_{\mathbb X}\hat f (\mathbb X)(x) \right)^2 + \sigma ^2</math>
 
<math>R(\hat f) = \left(\mathbb E_{\mathbb X, \mathbb Y} \hat f (\mathbb X)(x) - f(x)\right)^2 + \mathbb E_{\mathbb X, \mathbb Y} \left(\hat f (\mathbb X)(x) - \mathbb E_{\mathbb X}\hat f (\mathbb X)(x) \right)^2 + \sigma ^2</math>
   
* <math>\left(\mathbb E_{\mathbb X, \mathbb Y} \hat f (\mathbb X)(x) - f(x)\right)^2</math> --- квадрат смещения.
+
* <math>\left(\mathbb E_{\mathbb X, \mathbb Y} \hat f (\mathbb X)(x) - f(x)\right)^2</math> --- квадрат смещения.
   
 
* <math>\mathbb E_{\mathbb X, \mathbb Y} \left(\hat f (\mathbb X)(x) - \mathbb E_{\mathbb X}\hat f (\mathbb X)(x) \right)^2</math> --- разброс.
 
* <math>\mathbb E_{\mathbb X, \mathbb Y} \left(\hat f (\mathbb X)(x) - \mathbb E_{\mathbb X}\hat f (\mathbb X)(x) \right)^2</math> --- разброс.
Строка 17: Строка 17:
 
=== Доказательство ===
 
=== Доказательство ===
   
Подробно доказательство проводится [http://www.machinelearning.ru/wiki/images/9/95/Kitov-ML-eng-13-Ensemble_methods.pdf#page=24 тут]
+
Подробно доказательство проводится [http://www.machinelearning.ru/wiki/images/9/95/Kitov-ML-eng-13-Ensemble_methods.pdf#page=29 тут]
   
 
== Bias-Variance decomposition c усреднением по всем объектам ==
 
== Bias-Variance decomposition c усреднением по всем объектам ==

Версия от 17:04, 23 июня 2017

Bias-Variance decomposition для объекта

Пусть и производится обучение алгоритма на некоторой выборке . Тогда среднеквадратичный риск можно выразить, как:

  • --- квадрат смещения.
  • --- разброс.
  • --- неустранимый шум.

Более короткая запись:

Доказательство

Подробно доказательство проводится тут

Bias-Variance decomposition c усреднением по всем объектам

3


Более подробно почитать про это можно тут