Метод минимизации эмпирического риска (Empirical risk minimization)

Метод минимизации эмпирического риска[]

Метод минимизации эмпирического риска (Empirical Risk Minimization) — общий подход к решению широкого класса задач обучения по прецедентам, включая задачи классификации и регрессии.

Функция потерь ${\mathcal L}(y,y')$ характеризует величину отклонения ответа алгоритма $y=a(x)$ от правильного ответа $y'$ на произвольном объекте $x \in \mathbb X$ .
Эмпирический риск — функционал качества, характеризующий среднюю ошибку алгоритма на обучающей выборке: $Q(a,X^m) = \frac{1}{m} \sum_{i=1}^m {\mathcal L}(a(x_i),y^{*}(x_i)).$

Замечание[]

По-честному, мы должны минимизировать следующий функционал:

 ${\displaystyle \int \limits_{\mathbb X}\int \limits_{\mathbb Y} p(x, y) \mathcal L(a(x), y) dx dy }$

Но так как $p(x, y)$ нам не всегда известно, да и вычисление интегралов — трудоемкое дело, то мы заменяем этот интеграл фактически выборочным средним.

Метод минимизации эмпирического риска заключается в том, чтобы в заданной модели алгоритмов $A$ найти алгоритм, доставляющий минимальное значение функционалу эмпирического риска: $a = \mathrm{arg}\min_{a\in A} Q(a,X^m).$