Введём случайные величины ошибся (допустим, смогли задать соответствующее вероятностное пространство). . Пусть независимые. Введём , тогда .
Пусть ансамбль из , построенный по принципу простого голосования (голосование по большинству). Тогда нетрудно заметить, что ошибается тогда и только тогда, когда . Вероятность ошибки равна .
Рассмотрим случай сколь угодно большого числа независимых классификаторов . При стремлении к бесконечности значение будет стремиться к нулю, то есть распределение будет стремиться к вырожденному. Так как , то при бесконечном увеличении вероятность ошибки будет стремиться к нулю, если .
Таким образом, при построении ансамбля простым голосованием счётного числа независимых классификаторов возможно построение идеального классификатора.