Машинное обучение вики
Advertisement

Немного матана для дальнейших математических изысканий

Определения[]

Множество называется выпуклым, если

Функция , заданная на выпуклом множестве , называется выпуклой, если :

Если неравенство строгое (и !!!!), то функция строго выпукла.

Полезные факты[]

1) Любая норма - выпуклая функция.

2) Известно, что равенство нулю градиента функции - необходимое условие локального минимума. Для выпуклых функций это условие также является достаточным, причём минимум будет глобальный.

3) Глобальный минимум строго выпуклой функции единственен.

4) Заданная на выпуклом функция выпукла тогда и только тогда, когда , где - любые из , является одномерной выпуклой функцией.

Подробно доказательство можно увидеть здесь, но оно в лоб.

Критерии выпуклости[]

Для дважды дифференцируемой следующие утверждения эквивалентны:

1) выпукла

2)

3)


В билетах написано что можно без доказательства, для желающих вотъ.

Критерии строгой выпуклости[]

Для дифференцируемой выпуклость эквивалентна .

Замечание: из следует строгая выпуклость, да, но не наоборот.

Неравенство Йенсена[]

Для выпуклой функции и любой случайной величины :

Доказательство: для записать из критерия выпуклости неравенство 2 для (ага, случайной величины!) и , после чего взять матожидание от сторон неравенства. Подробнее тут.

Обращение неравенства Йенсена в равенство[]

Для строго выпуклой неравенство Йенсена обращается в равенство тогда и только тогда, когда с вероятностью 1.

Доказательство: аналогично доказательству неравенства Йенсена для выпуклой , для строгой выпуклости там образуется строгое неравенство. При этом мы ж требовали в определении строгой выпуклости, что , то есть брать и , если они с вероятностью 1 равны, нельзя.

Advertisement