SVR

РЕГРЕССИЯ
МЕТОД ОПОРНЫХ
ВЕКТОРОВ
Данг Фыонг Нам
932102
Опорный вектор регрессия

SVR ОБЗОР 2

• регрессионная модель вычисляет непрерывную многомерную функцию.

• SVR достигается за счет введение области дисперсий (e-intensive region) вокруг функции, называемой э-
трубка
• Задача этого метода – найти наилучшую э-трубку, которая приближает к функцию
МАТИМАТИЧЕСКАЯ
МОДЕЛЬ
y = w^T * x + b
Метод наименьших квадратов Метод опорных векторов
 РЕГРЕССИОННАЯ 5

ФУНКЦИЯ
y = w^T * x + b
y - это предсказанное значение (результат регрессии).
w - вектор весов.
x - вектор входных признаков.
b - член смещения(bias term)
Опорный вектор регрессия

6
 7

ФУНКЦИЯ ПОТЕРЬ
Функция потерь в SVR направлена на минимизацию
разницы между предсказанными значениями и
фактическими целевыми значениями, учитывая
допустимую ошибку. Она обычно определяется следующим
образом:

L(y, y') = max(0, |y - y'| - ε)

 ФУНКЦИЯ ПОТЕРЬ
8

L(y, y') = max(0, |y - y'| - ε)

L(y, y') - функция потерь.

y - фактическое целевое значение.
y' - предсказанное значение.
ε - гиперпараметр, называемый "эпсилон-
инсенситивностью" или допустимой
ошибкой. Он определяет ширину трубы
вокруг истинной регрессионной функции, в
пределах которой ошибки не штрафуются.
 9
Строгое ограничение Мягкое ограничение

минимизировать: (1/2) * ||w||^2 + C * Σ [L(y, y')]

(1/2) * ||w||^2 - регуляризационный член, который штрафует величину вектора

весов для предотвращения переобучения. Силу регуляризации контролирует
гиперпараметр C.

Σ [L(y, y')] - сумма функции потерь по всем точкам данных. Цель заключается в
минимизации этой суммы, с учетом того, чтобы функция потерь находилась в
пределах допустимой ошибки (контролируемой ε).
 10

ЗАКЛЮЧЕНИЕ
РЕГРЕССИОННАЯ ФУНКЦИЯ: Y = W^T *X + B

ПОЛУЧАЕТСЯ ПРИ МИНИМИЗАЦИИ

ВЫРАЖЕНИЕ:
(1/2) * ||W||^2 + C * Σ [L(Y, Y')]
КОНЕЦ