(Новая страница: «'''Расстояние Кульбака — Лейблера''' - метрика между распределениями случайных величин. О…») Метка: sourceedit |
Метка: sourceedit |
||
Строка 24: | Строка 24: | ||
<math> \ge -\ln{\mathbb{E}U} = -\ln {\sum_i P_i \frac{Q_i}{P_i}} = -\ln{\sum_i Q_i} = -\ln{1} = 0</math> |
<math> \ge -\ln{\mathbb{E}U} = -\ln {\sum_i P_i \frac{Q_i}{P_i}} = -\ln{\sum_i Q_i} = -\ln{1} = 0</math> |
||
+ | |||
+ | 4) Равно нулю только если <math>P = Q</math> с вероятностью 1. Это вытекает из доказательства неотрицательности и[[Теория выпуклости#Обращение неравенства Йенсена в равенство|критерия обращения неравенства Йенсена в равенство]]. |
Версия от 14:38, 22 июня 2017
Расстояние Кульбака — Лейблера - метрика между распределениями случайных величин. Обозначение: , причём откуда взялись две вертикальные палки науке неизвестно, по идее это просто функция от двух распределений и
Дискретный случай:
Непрерывный случай:
Свойства
1) Определено только для таких распределений, что
2) Несимметрично! Симметричная версия -
3) Неотрицательно
Доказательство неотрицательности (для дискретного случая):
Пусть - случайная величина, т.ч.
Тогда
Воспользуемся тем, что логарифм - выпуклая функция и неравенством Йенсена для неё.
4) Равно нулю только если с вероятностью 1. Это вытекает из доказательства неотрицательности икритерия обращения неравенства Йенсена в равенство.