Методы многоклассовой классификации

Пусть рассматривается задача классификации с $C$ классами.

Содержание

Обучим на всех объектах тренировочной выборки $C$ бинарных классификаторов типа "принадлежит ли объект $i$ -ому классу".
В результате получим $C$ классификаторов $f_{c}(x)$ .
Ответ ищется, как ${\hat {y}}(x)={\underset {c\in [1,\dots ,C]}{\operatorname {argmax} }}f_{c}(x)$ .

Обучим ${\dfrac {C(C-1)}{2}}$ бинарных классификаторов следующим образом: для каждой пары $i,j\in [1,\dots ,C],i\neq j$ обучим бинарный классификатор $f_{i,j}(x)$ на тех объектах тренировочной выборки, ответ которых принимает значение $i$ или $j$ .
В результате получим ${\dfrac {C(C-1)}{2}}$ классификаторов $f_{i,j}(x)$ .
На этапе предсказания каждый из всех обученных классификаторов возвращает индикатор принадлежности соответствующему классу. Тот класс, за который проголосовало большинство и будет ответом на данном объекте:

${\hat {y}}(x)={\underset {c\in [1,\dots ,C]}{\operatorname {argmax} }}\sum \limits _{i\neq j\in [1,\dots ,C]}\mathbb {I} [f_{i,j}(x)==c]$ .

Каждый номер класса кодируется бинарным вектором $W_{i}$ , состоящим из $B$ бит, причем, $B\geq \lceil \log _{2}C\rceil$ .
Строится $B$ бинарных классификаторов $f_{b}(x)$ , которые предсказывают $b$ -ый бит.
Ответ ищется как ${\hat {y}}(x)={\underset {c\in [1,\dots ,C]}{\operatorname {argmin} }}\sum \limits _{b=1}^{B}|W_{cb}-f_{b}(x)|$ , где $W_{cb}$ --- $b$ -ый бит кодового слова для класса $c$ .
Чем больше бит используется при кодировании классов, тем более модель устойчива к ошибкам классификаторов.
Кодирование производится рандомно или так, чтобы попарные расстояния Хэмминга между кодами были как можно больше.