Регуляризация

Эта статья плохо повышает индекс цитируемости авторов других статей этой вики. Вы можете помочь, добавив навигационные ссылки.

добавить вероятностную модель, соответствующую регуляризации

Регуляризация — способ предотвратить переобучение модели.

Виды регуляризации

Часто регуляризация представляет собой просто некоторую добавку $R(w)$ (где $w$ — параметры модели) к функции потерь $L(f(x,w),y)$ так что задача приобретает вид:

$\min _{\displaystyle w}\sum _{i=1}^{N}L(f(x_{i},w),y_{i}))+\lambda R(w)$

Часто используемые $R(w)$:

• L2 регуляризация — $R(w)=||w||_{2}^{2}=\sum _{i=1}^{d}{w_{i}}^{2}$
• L1 регуляризация — $R(w)=||w||_{1}=\sum _{i=1}^{d}|w_{i}|$
• ElasticNet регуляризация — $R(w)=\lambda _{1}||w||_{2}^{2}+\lambda _{2}||w||_{1}$

Отбор признаков

Предположим, что перед нами стоит задача линейной регрессии с L1 регуляризацией (lasso regression):

• $f(x,w)=w^{T}x+w_{0}$
• $L(w)=\min _{\displaystyle w}\sum _{i=1}^{N}(w^{T}x_{i}+w_{0}-y_{i})^{2}+\lambda ||w||_{1}$

L1 регуляризация приведет к занулению весов некоторых признаков так как градиент равен: $\nabla _{w}L(w)=\sum _{i=1}^{N}2x_{i}^{T}(w^{T}x_{i}+w_{0}-y_{i})+\lambda sign(w)$ Соответственно при достаточно большом $\lambda$ некоторые признаки обязательно обнулятся. Тогда отбираются те признаки, при которых вес не равен нулю. Также есть объяснение в Бишопе на странице 145-146.