Классификация с кодированием целевой переменной

Эта статья плохо повышает индекс цитируемости авторов других статей этой вики. Вы можете помочь, добавив навигационные ссылки.

Эта статья нуждается в структуризации! Вы можете помочь, кластеризовав информацию в этой статье. Возможно, следует разбить её на разделы или на несколько статей.

Рассмотрим задачу многоклассовой классификации. $C$ — количество классов. Для применения кодов, исправляющих ошибки, в задаче классификации предлагается представить метку каждого класса бинарным вектором длины $B$, естественно, $B\geq \lceil \log _{2}(C)\rceil$. Точное значение $B$ зависит от метода исправления ошибок в коде и количества классов. Закодировать можно, например, с помощью кодов Хэмминга (исправляет одну ошибку и находит двойную), БЧХ-кодов (исправляет уже заданное число ошибок).

Пусть $w_{i}\in \{0;1\}^{B}$ — кодовое слово, отвечающее за метку класса $i,i={\overline {1,C}}$. Введём $f_{j}(x),j={\overline {1,B}}$ — классификаторы, решающие задачу бинарной классификации с метками $\{0;1\}$. Если раньше каждому объекту в задаче многоклассовой классификации ставилась в соответствие одна метка класса $i$, то теперь — бинарный вектор $w_{i}$ длины $B$. Каждый классификатор из множества $\{f_{j}(x)\}_{j=1}^{B}$ будет прогнозировать соответствующий разряд вектора $w\in \{0;1\}^{B}$: классификатор $f_{j}(x)$ прогнозирует $j$-ый разряд вектора $w\in \{0;1\}^{B}$.

Классификаторы $f_{j}(x)$ могут прогнозировать метку класса объекта, тогда полученный после прогнозирования каждого разряда вектор ${\hat {w}}\in \{0;1\}^{B}$ подвергается операции исправления ошибок в соответствии с методом, с помощью которого метки классов были закодированы, получается вектор ${\overline {\hat {w}}}$. Класс объекта определяется по ближайшему к ${\overline {\hat {w}}}$ вектору по расстоянию Хэмминга $\rho$: $\arg \min \limits _{c\in \{1,\dots ,C\}}[\rho (w_{c},{\overline {\hat {w}}})],\rho (x,y)=\sum \limits _{j=1}^{B}x_{j}\bigoplus y_{j},x,y\in \{0;1\}^{B}$.

Классификаторы $f_{j}(x)$ могут прогнозировать вероятность первого класса объекта, тогда операция исправления ошибок не проводится, и класс объекта можно прогнозировать следующим образом: $\arg \min \limits _{c\in \{1,\dots ,C\}}[\sum \limits _{j=1}^{B}|w_{cj}-f_{j}(x)|],w_{c}=(w_{c1},\dots ,w_{cB})^{T}\in \{0;1\}^{B}$.