Машинное обучение вики
Регистрация
Нет описания правки
Метка: rte-source
Нет описания правки
Метка: rte-source
 
(не показано 6 промежуточных версий 3 участников)
Строка 1: Строка 1:
  +
== Функции потерь в задачах бинарной классификации ==
В задачах классификации наиболее естественным выбором является пороговая функция потерь <math>{\mathcal L}(y,y') = [y'\neq y].</math>Такая функция потерь разрывна, [[минимизация эмпирического риска|Принцип минимизации эмпирического риска]] оказывается сложной задачей комбинаторной оптимизации. Поэтому используются всевозможные их непрерывные аппроксимации.
+
В задачах классификации наиболее естественным выбором является пороговая функция потерь <math>{\mathcal L}(y,y') = [y'\neq y].</math>Такая функция потерь разрывна, [[Метод минимизации эмпирического риска (Empirical risk minimization)|минимизация эмпирического риска]] оказывается сложной задачей комбинаторной оптимизации. Поэтому используются всевозможные их непрерывные аппроксимации.
 
[[File:Непрерывные аппроксимации.png|thumb|691x691px]]
 
[[File:Непрерывные аппроксимации.png|thumb|691x691px]]
   
  +
Здесь <math>M</math> &mdash; [[Отступ (для классификатора)|отступ для классификатора]].
В задачах регрессии наиболее типичным выбором является квадратичная функция потерь <math>{\mathcal L}(y,y') = (y'-y)^2.</math>
 
  +
 
В задачах регрессии наиболее типичным выбором является квадратичная функция потерь (MSE) <math>{\mathcal L}(y,y') = (y'-y)^2.</math>
  +
  +
Также бывают:
  +
* MAE: <math>{\mathcal L}(y,y') = |y'- y| </math>
  +
* MRE: <math>{\mathcal L}(y,y') = \dfrac{|y'-y|}{y} </math>
   
 
Основное достоинство метода: это конструктивный и универсальный подход, позволяющий сводить задачу обучения к задачам численной оптимизации.
 
Основное достоинство метода: это конструктивный и универсальный подход, позволяющий сводить задачу обучения к задачам численной оптимизации.
   
Основной недостаток явление переобучения.
+
Основной недостаток &mdash; явление переобучения.
  +
== Функции потерь, порождающие оптимальные веса, зависящие от части выборки ==
   
Кусочно-линейная функция потерь (или hinge loss) порождает оптимальные веса, которые зависят только от части выборки, так как функция потерь просто зануляется на тех объектах, которые достаточно далеко от разделяющей поверхности. Задачу оптимизации в [[SVM|Метод опорных векторов]] можно также переписать, используя hinge loss.
+
Такой является '''кусочно-линейная функция потерь''' (или '''hinge loss'''). Она просто зануляется на тех объектах, которые достаточно далеко от разделяющей поверхности. Задачу оптимизации в [[Метод опорных векторов (Support vector machine)|SVM]] можно также переписать, используя hinge loss.
   
 
Источники:
 
Источники:

Текущая версия от 01:17, 14 января 2017

Функции потерь в задачах бинарной классификации[]

В задачах классификации наиболее естественным выбором является пороговая функция потерь Такая функция потерь разрывна, минимизация эмпирического риска оказывается сложной задачей комбинаторной оптимизации. Поэтому используются всевозможные их непрерывные аппроксимации.

Непрерывные аппроксимации

Здесь отступ для классификатора.

В задачах регрессии наиболее типичным выбором является квадратичная функция потерь (MSE)

Также бывают:

  • MAE:
  • MRE:

Основное достоинство метода: это конструктивный и универсальный подход, позволяющий сводить задачу обучения к задачам численной оптимизации.

Основной недостаток — явление переобучения.

Функции потерь, порождающие оптимальные веса, зависящие от части выборки[]

Такой является кусочно-линейная функция потерь (или hinge loss). Она просто зануляется на тех объектах, которые достаточно далеко от разделяющей поверхности. Задачу оптимизации в SVM можно также переписать, используя hinge loss.

Источники:

http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B8%D0%BD%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D1%8D%D0%BC%D0%BF%D0%B8%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D1%80%D0%B8%D1%81%D0%BA%D0%B0

http://www.machinelearning.ru/wiki/images/6/68/voron-ML-Lin.pdf

https://en.wikipedia.org/wiki/Loss_functions_for_classification