- Статьи
76 результатов
-
Решающее дерево (Decision tree)
Решающее дерево (Decision tree) — решение задачи обучения с учителем, основанный на том, как решает задачи прогнозирования человек. В общем случае — это k-ичное дерево с решающими правилами в нелистовых вершинах (узлах) и некотором заключении о -
Метод главных компонент (Principal component analysis)
Рассматриваем выборку в пространстве признаков размерности (далее везде ). Пусть - некоторое подпространство пространства признаков. Для объекта введем разложение, где, а ортогонально. -
Ядерное сглаживание для оценки плотности
Проблема: нужен непараметрический метод для оценки плотности. Решение: метод будет основан на локальной оценке плотности в окрестности интересующей точки по известной выборке. Локальная оценка опирается на само определение плотности распределения:, где — вероятностная мера отрезка. -
Оценки классификаторов
Везде ниже — элемент выборки, — метка класса, — классификатор. Также — значения матрицы ошибок бинарной классификации. -
ROC-кривая
TPR полностью совпадает с полнотой, и показывает долю верно предсказанных классов у объектов, относящихся к положительному классу. FPR — это доля неправильно предсказанных классов среди объектов отрицательного класса. -
Гребневая регрессия (Ridge regression)
Решается задача регрессии. Применяется линейная модель (вообще говоря, один из признаков полагается константным для того, чтобы аппроксимирующая гиперплоскость не обязательно проходила через нуль, я не знаю, почему это практически всюду опускается):. В изначальной постановке полагается -
Линейный классификатор
Линейный классификатор — алгоритм классификации, основанный на построении линейной разделяющей поверхности. Иными словами, это такой классификатор, дискриминантная функция которого линейна. В случае двух классов разделяющей поверхностью является гиперплоскость, которая делит пространство признаков на два полупространства. В -
Отступ (для классификатора)
Отступ (для классификатора) — эвристика, оценивающая то, насколько объект "погружён" в свой класс, насколько эталонным представителем он является. Чем меньше значение отступа, тем ближе объект находится к границе класса, соответственно тем выше вероятность ошибочного прогноза. Отступ -
Метод ближайших соседей (kNN)
Метод ближайших соседей (kNN - k Nearest Neighbours) - метод решения задач классификации и задач регрессии, основанный на поиске ближайших объектов с известными значения целевой переменной. Метод основан на предположении о том, что близким объектам в признаковом -
Критерий информативности (Impurity function)
Критерий информативности (или критерий "перемешанности" классов, Impurity function) - эвристика того, насколько классы перемешаны в некотором подмножестве выборки. Используется для нахождения оптимального разбиения в узлах решающих деревьев., где - априорная вероятность встретить объект класса в (то есть -
Функция потерь (Loss function)
В задачах классификации наиболее естественным выбором является пороговая функция потерь Такая функция потерь разрывна, минимизация эмпирического риска оказывается сложной задачей комбинаторной оптимизации. Поэтому используются всевозможные их непрерывные аппроксимации. Здесь — отступ для классификатора. -
Регуляризация
добавить вероятностную модель, соответствующую регуляризации Регуляризация — способ предотвратить переобучение модели. -
Матрица ошибок (Confusion matrix)
Пусть дана выборка (, - метка класса i-го объекта, ), каждый объект которой относится к одному из классов и классификатор, который эти классы предсказывает. Матрицей ошибок для такого классификатора называется следующая матрица:. Такая матрица показывает сколько объектов -
Ансамбли моделей
Обучаем несколько базовых моделей, а затем агрегируем их результаты по какому-либо правилу и выдаем окончательный результат. Почему ансамблирование улучшает результат описано здесь. -
Билеты к экзамену по ММРО (МГУ ВМК ММП, 5 семестр, 2016-2017)
Виды обучения с учителем (supervised), без учителя (unsupervised), частичное (semi-supervised), трансдуктивное. Типы моделей: генеративные, дискриминативные. Типы признаков и типы откликов. Принцип минимизации эмпирического риска. Переобучение, её зависимость от размера обучающей выборки и сложности модели -
Структурирование пространства признаков
При большом размере обучающей выборки поиск ближайших соседей методом перебора становится крайне ресурсоёмким делом. Мы же хотим попытаться структурировать пространство признаков каким-либо образом, чтобы поиск ближайших соседей осуществлялся быстрее. Везде далее предполагается, что функция -
Методы фильтрации обучающей выборки
Метод ближайших соседей не требует обучения, Сложность предсказания. При большом количестве объектов возникает проблема, связанная с большим объемом вычислений для нахождения ближайшего соседа для распознаваемого объекта. Для борьбы с этой проблемой могут применяться методы фильтрации -
Регрессия
Регрессия - частный случай задачи обучения с учителем, при котором целевая переменная принадлежит бесконечному подмножеству вещественной оси. Сравниваются следующие методы регрессии: kNN, регрессия Надарая-Ватсона, ridge/lasso regression, решающее дерево, kernel ridge regression c RBF-ядром. -
EM-алгоритм
EM-алгоритм (англ. expectation-maximization) — алгоритм, используемый в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На -
Сокращённое сингулярное разложение
Пусть дана матрица. Пусть есть сингулярное разложение, где,,, где — множество ортогональных матриц соответствующей размерности (т. е. ), (ОБРАЩАЮ ВНИМАНИЕ: в отличие от лекций Китова неравенство с нулем СТРОГОЕ, потому что так правильнее, пруф), — транспонирование матрицы. Более -
Гауссов классификатор
Основная идея — построить классификатор в предположении того, что функция (так называемая функция правдоподобия, т.е. распределение объектов при фиксированном ответе ) известна для каждого класса и равна плотности многомерного нормального (гауссовского) распределения: — матрица ковариации. -
Отбор признаков
Как только вы называете признаки фичами, знайте что все многолетние труды российских ученых в области машинного обучения прошли зря. © К. В. Воронцов Пусть есть куча признаков:, их очень много, хотим уменьшить их число. Можем -
Сингулярное разложение (SVD)
Для любой матрицы существует ее SVD-разложение (доказательство сего факта представлено здесь, страница 7). Оно определено с точностью до перестановок одинаковых собственных значений, и соответствующих им собственных векторов. Если же все собственные значения уникальны, то -
Билеты к экзамену по ММРО (МГУ ВМК ММП, 6 семестр, 2016-2017)
Методы многоклассовой классификации бинарными классификаторами --- подходы один против всех, каждый против каждого и подход на кодах, исправляющих ошибки. Вывод разложения среднеквадратичной ошибки на смещение и дисперсию. Интуиция. При каких параметрах основных прогнозирующих алгоритмах в их -
Нелинейное снижение размерности
Основное предположение - данные расположены на нелинейной поверхности меньшей размерности, чем исходное пространство. Метод, сохраняющий попарные расстояния между новыми представлениями объектов как можно более близкими к исходным. Возможно добавление весов, обратно пропорциональных старым расстояниям, так как
Близкая по теме вики
Dark Souls вики
games
4тыс.
страниц20тыс.
изображений4тыс.
видео
Большая энциклопедия и форум посвящённые серии игр Dark Souls.