Машинное обучение вики
Advertisement

Bias-Variance decomposition в объекте[]

Пусть и производится обучение алгоритма на некоторой выборке . Тогда среднеквадратичный риск можно выразить, как:

  • --- квадрат смещения.
  • --- разброс.
  • --- неустранимый шум.

Более короткая запись:

Доказательство[]

Подробно доказательство проводится тут

Bias-Variance decomposition c усреднением по всем объектам[]

3.png


Более подробно почитать про это можно тут

Связь Bias-Variance decomposition и алгоритмов обучения[]

Смещение алгоритма показывает, насколько хорошо алгоритм приближает реальную зависимость между данными и откликами. Разбор показывает, насколько сильно может меняться ответ в зависимости от выборки, то есть насколько сильно изменится алгоритм при изменениях в выборке.

Алгоритмы с маленьким смещением --- как правило, сложные алгоритмы, например, решающее дерево. Алгоритмы с большим смещением --- как правило, простые алгоритмы, например, линейные классификаторы.

Алгоритмы с маленькой дисперсией --- как правило, простые алгоритмы. Алгоритмы с большой дисперсией --- как правило, сложные алгоритмы.

Также, высокая дисперсия показывает то, что алгоритм, скорее всего переобучен, а высокое смещение --- что недообучен.

4.png

Advertisement