Мы хотим совершить преобразование признаков
. При этом мы зададим не преобразование , а скалярное произведение в новом пространстве признаков.Содержание
Определение[]
Функция
называется ядром, если она может быть представлена в виде для какой либо функцииТеорема Мерсера[]
Функция
является ядром тогда и только тогда, когда:- Она симметрична:
- Она неотрицательно определена, то есть для любой конечной выборки матрица неотрицательно определена
Типичные ядра[]
- Линейное:
- Полиномиальное:
- RBF-ядро:
Почему ядра так выглядят и какую роль играют семинарах Соколова с 7й страницы
и можно посмотреть вКакие методы могут быть обобщены через ядра:[]
- ridge regression
- SVM
- K-NN (так как расстояние можно записать как функцию от скалярных произведений следовательно и в терминах функции ядра)
- PCA (откуда здесь взялись скалярные произведения можно посмотреть в лекциях Воронцова про метод главных компонент)
- и т.д.