Расстояние Кульбака — Лейблера

Расстояние Кульбака — Лейблера - метрика между распределениями случайных величин. Обозначение: $KL(P||Q)$, причём откуда взялись две вертикальные палки науке неизвестно, по идее это просто функция от двух распределений $P$ и $Q$

Дискретный случай: $KL(P||Q) = \sum^{n}_{i} {P_i \ln{\frac{P_i }{Q_i }}}$

Непрерывный случай: $KL(P||Q) = \int p(x) \ln{\frac{p(x)}{q(x)}} dx$

Свойства

1) Определено только для таких распределений, что $P_i = 0 \Rightarrow Q_i = 0$

2) Несимметрично! Симметричная версия - ${\frac {1}{2}}KL(P||Q)KL(Q||P)$

3) Неотрицательно

Доказательство неотрицательности (для дискретного случая):

Пусть $U$ - случайная величина, т.ч. $P(U = \frac{P_i }{Q_i }) = P_i$

Тогда $KL(P||Q) = \sum^{n}_{i} {P_i \left ( -\ln{\frac{Q_i }{P_i }} \right ) } = \mathbb{E}(-\ln{U}) \ge$

Воспользуемся тем, что логарифм - выпуклая функция и неравенством Йенсена для неё.

$\ge -\ln{\mathbb{E}U} = -\ln {\sum_i P_i \frac{Q_i}{P_i}} = -\ln{\sum_i Q_i} = -\ln{1} = 0$

4) Равно нулю только если $P = Q$ с вероятностью 1. Это вытекает из доказательства неотрицательности икритерия обращения неравенства Йенсена в равенство.