Advertisement

Jurassic World: Dominion Dominates Fandom Wikis - The Loop

01:25

Bias-Variance decomposition в объекте

Пусть и производится обучение алгоритма на некоторой выборке . Тогда среднеквадратичный риск можно выразить, как:

  • --- квадрат смещения.
  • --- разброс.
  • --- неустранимый шум.

Более короткая запись:

Доказательство

Подробно доказательство проводится тут

Bias-Variance decomposition c усреднением по всем объектам

3.png


Более подробно почитать про это можно тут

Связь Bias-Variance decomposition и алгоритмов обучения

Смещение алгоритма показывает, насколько хорошо алгоритм приближает реальную зависимость между данными и откликами. Разбор показывает, насколько сильно может меняться ответ в зависимости от выборки, то есть насколько сильно изменится алгоритм при изменениях в выборке.

Алгоритмы с маленьким смещением --- как правило, сложные алгоритмы, например, решающее дерево. Алгоритмы с большим смещением --- как правило, простые алгоритмы, например, линейные классификаторы.

Алгоритмы с маленькой дисперсией --- как правило, простые алгоритмы. Алгоритмы с большой дисперсией --- как правило, сложные алгоритмы.

Также, высокая дисперсия показывает то, что алгоритм, скорее всего переобучен, а высокое смещение --- что недообучен.

4.png
Материалы сообщества доступны в соответствии с условиями лицензии CC-BY-SA, если не указано иное.