Линейный классификатор

Это незавершённая статья Автор, вероятно, переобучился и отправился спать. Вы можете помочь, экстраполировав местную информацию.

Линейный классификатор

Линейный классификатор — алгоритм классификации, основанный на построении линейной разделяющей поверхности. Иными словами, это такой классификатор, дискриминантная функция которого линейна. В случае двух классов разделяющей поверхностью является гиперплоскость, которая делит пространство признаков на два полупространства. В случае большего числа классов разделяющая поверхность кусочно-линейна (как сумма выпуклых функций, которая тоже является выпуклой функцией).

Бинарная классификация

Пусть объект $x$ задается $D$ признаками, то есть представим в виде вектора $x \in \mathbb{R}^D$, $y$ — метка класса для объекта $x$ ($y \in \{-1, +1\}$). Тогда линейным классификатором для разделяющей плоскости, заданной в пространстве признаков нормалью $w$ и скаляром $w_0$ будет следующий классификатор:

DANGER! Это место вызывает сомнения или непонимание! Может, +w0? Неважно, конечно, но выглядит странно У Китова вроде всегда брали с плюсом и 1 как доп.признак. ---абсолютно по барабану, +1 или -1, при обучении просто параметр w0 будет принимать разные по знаку значения (Костя)

$a(x, w, w_0) = sign(w^T x - w_0)$.

Зачастую вводится дополнительный признак равный $-1$, так, что $x = (-1, x_1, x_2, \dots, x_D) \in \mathbb{R}^{D+1}$, а в качестве $w$ берется вектор $(w_0, w_1, w_2, \dots, w_D)$. Тогда тот же классификатор можно представить в более компактном виде:

$a(x, w) = sign(w^T x)$.

Многоклассовая классификация

Для случая нескольких классов ($y \in \mathbb{Y}$, где $\mathbb{Y}$ — множество всех меток классов) вводится $C = |\mathbb{Y}|$ плоскостей, а классификатор определяется так:

$a(x, W) = \underset{y \in \mathbb{Y}}{argmax} ~w_y^T x$.

Где $W$ — матрица, состоящая из векторов $w_y$ ($w_y \in \mathbb{R}^{D+1}, W \in \mathbb{R}^{D+1, C}$).

По факту $w_y$ — это вектор, задающий разделяющую плоскость между классом с меткой $y$ и всеми остальными, при классификации алгоритм выбирает тот класс, принадлежность объекта $x$ к которому наиболее вероятна (то есть максимизирует отступ для этого объекта).

$w$ для бинарной классификации и $W$ для многоклассовой подбираются по принципу минимизации эмпирического риска.