Гребневая регрессия

Гребнева́я регре́ссия (англ. ridge regression), вариация линейной регрессии, которая используется для решения проблемы мультиколлинеарности (наличие линейной зависимости между объясняющими переменными, которая приводит к неустойчивости оценок параметров) в статистике, эконометрике, нейронных сетях. За счёт регуляризации гребневая регрессия борется с переобучением (ситуацией, в которой модель хорошо объясняет примеры из обучающей выборки, но плохо работает на примерах из тестовой выборки), что улучшает качество модели. В данном методе к задаче минимизации суммы квадратов остатков добавляется квадратичный штраф на величину коэффициентов, который также называют ${\displaystyle L_{2}}$-регуляризацией (${\displaystyle L_{2}}$ regularization) или регуляризацией Тихонова. Термин гребневая регрессия был предложен математиками А. Хоэрлом (1921–1994) и Р. Кеннардом (1923–2011) в 1970 г.

Пусть есть выборка из ${\displaystyle N}$ наблюдений, которые состоят из зависимой (объясняемой) переменной ${\displaystyle y_{i}}$ и ${\displaystyle p}$ регрессоров. Тогда оценка гребневой регрессии задаётся как:

${\displaystyle {\widehat {\beta ^{ridge}}}=\operatorname {argmin} \limits _{\beta }\{\sum \limits _{i=1}^{N}(y_{i}-\beta _{0}-\sum \limits _{j=1}^{p}x_{ij}\beta _{j})^{2}+\lambda \sum \limits _{j=1}^{p}\beta _{j}^{2}\}}$,

где ${\displaystyle y_{i}}$ – ${\displaystyle i}$-ое наблюдение зависимой переменной, ${\displaystyle x_{ij}}$ – ${\displaystyle i}$-ое наблюдение ${\displaystyle j}$-го регрессора, ${\displaystyle \beta _{0}}$ – свободный член, ${\displaystyle \beta _{j}}$ – коэффициенты модели, ${\displaystyle \lambda }$ – параметр регуляризации.

Параметр ${\displaystyle \lambda \geq 0}$ накладывает штраф на сложность модели. При ${\displaystyle \lambda =0}$ модель сводится к методу наименьших квадратов. Чем больше значение параметра ${\displaystyle \lambda }$, тем ближе коэффициенты модели оказываются к нулю. Оптимальное значение параметра ${\displaystyle \lambda }$ подбирается отдельно для каждой конкретной задачи.

Свободный член ${\displaystyle \beta _{0}}$ не включается в штрафное слагаемое, иначе величина смещения оценок коэффициентов стала бы зависеть от начала координат для ${\displaystyle y_{i}}$. Если бы свободный член входил в штрафное слагаемое, то изменение всех ${\displaystyle y_{i}}$ на ${\displaystyle c}$ (например, переход к центрированным данным путём вычитания среднего) привело бы к изменению оценок угловых коэффициентов и изменению прогнозов модели на величину, отличную от ${\displaystyle c}$.

Регрессоры должны быть стандартизованы, т. е. должны удовлетворять условиям:

${\displaystyle \sum \limits _{i=1}^{n}x_{ij}=0,\sum \limits _{i=1}^{n}x_{ij}^{2}=1,j=1,2,\ldots ,p}$.

Если зависимая переменная центрирована, т. е. ${\displaystyle \sum _{i=1}^{n}y_{i}=0}$, то задачу по определению оценок коэффициентов гребневой регрессии можно переписать в матричной форме:

${\displaystyle Q(\lambda )=(y-X\beta )^{T}(y-X\beta )+\lambda \beta ^{T}}$.

Оценка параметров для гребневой регрессии в матричной форме задаётся соотношением:

${\displaystyle {\widehat {\beta ^{ridge}}}=(X^{T}X+\lambda I)^{-1}X^{T}y}$,

где ${\displaystyle I}$ – единичная матрица ${\displaystyle p\times p}$. Матрицу ${\displaystyle \lambda I}$ называют гребнем.

Оценка гребневой регрессии является смещённой, где смещение определяется как:

${\displaystyle Bias({\widehat {\beta ^{Ridge}}})=-\lambda (X^{\top }X+\lambda I)^{-1}\beta }$.

Дисперсия оценок для гребневой регрессии находится по формуле:

${\displaystyle Var({\widehat {\beta ^{Ridge}}})=\sigma ^{2}(X^{\top }X+\lambda I)^{-1}(X^{\top }X)(X^{\top }X+\lambda I)^{-1}}$,

что ниже, чем для линейной регрессии без регуляризации.

Таким образом, гребневая регрессия увеличивает эффективность оценок (снижает дисперсию оценок) в обмен на некоторую величину смещения.

${\displaystyle L_{2}}$-регуляризацию или гребневую регрессию иногда называют регуляризацией Тихонова, ссылаясь на работы А. Н. Тихонова по обратным и некорректно поставленным (задача, которая не обладает одним из свойств: существование, единственность и устойчивость решения) задачам. Идея квадратичного штрафа на величину параметров также используется в нейронных сетях.

На рисунке изображён случай гребневой регрессии с двумя параметрами. Сумма квадратов остатков изображена в виде красных эллипсов с центром в точке, координаты которой соответствуют оценкам коэффициентов линейной регрессии без регуляризации. Голубая область – это штрафное ограничение ${\displaystyle \beta _{1}^{2}+\beta _{2}^{2}\leq t}$. Решение для случая гребневой регрессии находится в точке касания контуров суммы квадратов остатков и границы голубой области.

${\displaystyle L_{2}}$-регуляризация уменьшает коэффициенты, а не приравнивает их к нулю, поэтому гребневая регрессия не упрощает модель за счёт исключения переменных. Следовательно, количество переменных в модели не меняется, а значит, модель не становится более интерпретируемой с содержательной точки зрения. Для преодоления этого недостатка был предложен метод эластичной сети, в котором используется как ${\displaystyle L_{2}}$, так и ${\displaystyle L_{1}}$-регуляризация.