Машинное обучение вики
Advertisement

Регрессия - частный случай задачи обучения с учителем, при котором целевая переменная принадлежит бесконечному подмножеству вещественной оси.

Обычная регрессия[]

Линейной моделью регрессии называется линейная комбинация признаков с коэффициентами : .

Предполагается, что находится с помощью МНК: .

.

— глобальный минимум, так как оптимизационная задача является выпуклой.

Решение существует только в том случае, когда матрица обратима. .

Проблема возникает, когда один из признаков является линейной комбинацией других. Решается с помощью отбора признаков и регуляризации.

Плюсы линейной регрессии:

  1. Единственный минимум;
  2. Аналитическое решение;
  3. Интерпретируемый алгоритм и решение.

Минусы:

  1. Простота модели;
  2. Матрица должна быть невырожденной.

Геометрический смысл[]

Введём обозначение: .

.

проецирует на ортогональное дополнение линейной оболочки столбцов матрицы .

— квадрат длины перпендикуляра, опущенного из на линейную оболочку. Таким образом, МНК находит кратчайшее расстояние от до линейной оболочки столбцов матрицы .

Нелинейные преобразования[]

Составим новый вектор признаков: .

.

Модель остаётся линейной по , так что все достоинства сохраняются.

Примеры преобразований:

Взвешенный учёт наблюдений[]

Идея робастной регрессии: снизить влияние выбросов при настройке модели.

Advertisement