Линейный классификатор

Это незавершённая статья Автор, вероятно, переобучился и отправился спать. Вы можете помочь, экстраполировав местную информацию.

Линейный классификатор

Линейный классификатор — алгоритм классификации, основанный на построении линейной разделяющей поверхности. Иными словами, это такой классификатор, дискриминантная функция которого линейна. В случае двух классов разделяющей поверхностью является гиперплоскость, которая делит пространство признаков на два полупространства. В случае большего числа классов разделяющая поверхность кусочно-линейна (как сумма выпуклых функций, которая тоже является выпуклой функцией).

Бинарная классификация

Пусть объект $x$ задается $D$ признаками, то есть представим в виде вектора $x\in \mathbb {R} ^{D}$, $y$ — метка класса для объекта $x$ ($y\in \{-1,+1\}$). Тогда линейным классификатором для разделяющей плоскости, заданной в пространстве признаков нормалью $w$ и скаляром $w_{0}$ будет следующий классификатор:

DANGER! Это место вызывает сомнения или непонимание! Может, +w0? Неважно, конечно, но выглядит странно У Китова вроде всегда брали с плюсом и 1 как доп.признак. ---абсолютно по барабану, +1 или -1, при обучении просто параметр w0 будет принимать разные по знаку значения (Костя)

$a(x,w,w_{0})=sign(w^{T}x-w_{0})$.

Зачастую вводится дополнительный признак равный $-1$, так, что $x=(-1,x_{1},x_{2},\dots ,x_{D})\in \mathbb {R} ^{D+1}$, а в качестве $w$ берется вектор $(w_{0},w_{1},w_{2},\dots ,w_{D})$. Тогда тот же классификатор можно представить в более компактном виде:

$a(x,w)=sign(w^{T}x)$.

Многоклассовая классификация

Для случая нескольких классов ($y\in \mathbb {Y}$, где $\mathbb {Y}$ — множество всех меток классов) вводится $C=|\mathbb {Y} |$ плоскостей, а классификатор определяется так:

$a(x,W)={\underset {y\in \mathbb {Y} }{argmax}}~w_{y}^{T}x$.

Где $W$ — матрица, состоящая из векторов $w_{y}$ ($w_{y}\in \mathbb {R} ^{D+1},W\in \mathbb {R} ^{D+1,C}$).

По факту $w_{y}$ — это вектор, задающий разделяющую плоскость между классом с меткой $y$ и всеми остальными, при классификации алгоритм выбирает тот класс, принадлежность объекта $x$ к которому наиболее вероятна (то есть максимизирует отступ для этого объекта).

$w$ для бинарной классификации и $W$ для многоклассовой подбираются по принципу минимизации эмпирического риска.