Машинное обучение вики
Advertisement

Расстояние Кульбака — Лейблера - метрика между распределениями случайных величин. Обозначение: , причём откуда взялись две вертикальные палки науке неизвестно, по идее это просто функция от двух распределений и

Дискретный случай:

Непрерывный случай:

Свойства[]

1) Определено только для таких распределений, что

2) Несимметрично! Симметричная версия:

3) Неотрицательно

Доказательство неотрицательности (для дискретного случая):

Пусть - случайная величина, т.ч.

Тогда

Воспользуемся тем, что логарифм - выпуклая функция и неравенством Йенсена для неё.

4) Равно нулю только если с вероятностью 1. Это вытекает из доказательства неотрицательности и критерия обращения неравенства Йенсена в равенство.

Связь с методом максимального правдоподобия[]

В билетах этого нет, поэтому просто ссылка на слайд.

Advertisement