Liebeann (обсуждение | вклад) Нет описания правки Метка: rte-source |
Liebeann (обсуждение | вклад) Нет описания правки Метка: rte-source |
||
(не показано 6 промежуточных версий 3 участников) | |||
Строка 1: | Строка 1: | ||
+ | == Функции потерь в задачах бинарной классификации == |
||
− | В задачах классификации наиболее естественным выбором является пороговая функция потерь <math>{\mathcal L}(y,y') = [y'\neq y].</math>Такая функция потерь разрывна, [[ |
+ | В задачах классификации наиболее естественным выбором является пороговая функция потерь <math>{\mathcal L}(y,y') = [y'\neq y].</math>Такая функция потерь разрывна, [[Метод минимизации эмпирического риска (Empirical risk minimization)|минимизация эмпирического риска]] оказывается сложной задачей комбинаторной оптимизации. Поэтому используются всевозможные их непрерывные аппроксимации. |
[[File:Непрерывные аппроксимации.png|thumb|691x691px]] |
[[File:Непрерывные аппроксимации.png|thumb|691x691px]] |
||
+ | Здесь <math>M</math> — [[Отступ (для классификатора)|отступ для классификатора]]. |
||
⚫ | |||
+ | |||
⚫ | |||
+ | |||
+ | Также бывают: |
||
+ | * MAE: <math>{\mathcal L}(y,y') = |y'- y| </math> |
||
+ | * MRE: <math>{\mathcal L}(y,y') = \dfrac{|y'-y|}{y} </math> |
||
Основное достоинство метода: это конструктивный и универсальный подход, позволяющий сводить задачу обучения к задачам численной оптимизации. |
Основное достоинство метода: это конструктивный и универсальный подход, позволяющий сводить задачу обучения к задачам численной оптимизации. |
||
− | Основной недостаток |
+ | Основной недостаток — явление переобучения. |
+ | == Функции потерь, порождающие оптимальные веса, зависящие от части выборки == |
||
− | + | Такой является '''кусочно-линейная функция потерь''' (или '''hinge loss'''). Она просто зануляется на тех объектах, которые достаточно далеко от разделяющей поверхности. Задачу оптимизации в [[Метод опорных векторов (Support vector machine)|SVM]] можно также переписать, используя hinge loss. |
|
Источники: |
Источники: |
Текущая версия от 01:17, 14 января 2017
Функции потерь в задачах бинарной классификации[]
В задачах классификации наиболее естественным выбором является пороговая функция потерь Такая функция потерь разрывна, минимизация эмпирического риска оказывается сложной задачей комбинаторной оптимизации. Поэтому используются всевозможные их непрерывные аппроксимации.
Здесь — отступ для классификатора.
В задачах регрессии наиболее типичным выбором является квадратичная функция потерь (MSE)
Также бывают:
- MAE:
- MRE:
Основное достоинство метода: это конструктивный и универсальный подход, позволяющий сводить задачу обучения к задачам численной оптимизации.
Основной недостаток — явление переобучения.
Функции потерь, порождающие оптимальные веса, зависящие от части выборки[]
Такой является кусочно-линейная функция потерь (или hinge loss). Она просто зануляется на тех объектах, которые достаточно далеко от разделяющей поверхности. Задачу оптимизации в SVM можно также переписать, используя hinge loss.
Источники:
http://www.machinelearning.ru/wiki/images/6/68/voron-ML-Lin.pdf
https://en.wikipedia.org/wiki/Loss_functions_for_classification