Гребнева́я регре́ссия (англ. ridge regression), вариация линейной регрессии, которая используется для решения проблемы мультиколлинеарности (наличие линейной зависимости между объясняющими переменными, которая приводит к неустойчивости оценок параметров) в статистике, эконометрике, нейронных сетях. За счёт регуляризации гребневая регрессия борется с переобучением (ситуацией, в которой модель хорошо объясняет примеры из обучающей выборки, но плохо работает на примерах из тестовой выборки), что улучшает качество модели. В данном методе к задаче минимизации суммы квадратов остатков добавляется квадратичный штраф на величину коэффициентов, который также называют $L_2$-регуляризацией ($L_2$ regularization) или регуляризацией Тихонова. Термин гребневая регрессия был предложен математиками А. Хоэрлом (1921–1994) и Р. Кеннардом (1923–2011) в 1970 г.

Пусть есть выборка из $N$ наблюдений, которые состоят из зависимой (объясняемой) переменной $y_i$ и $p$ регрессоров. Тогда оценка гребневой регрессии задаётся как:

$\widehat{β^{ridge} } =\argmin\limits_{β⁡}\{\sum\limits_{i=1}^N(y_i-β_0-\sum\limits_{j=1}^px_{ij} β_j )^2 +λ\sum\limits_{j=1}^pβ_j^2 \}$,

где $y_i$ – $i$-ое наблюдение зависимой переменной, $x_{ij}$ – $i$-ое наблюдение $j$-го регрессора, $\beta_0$ – свободный член, $\beta_j$ – коэффициенты модели, $\lambda$ – параметр регуляризации.

Параметр $\lambda \ge0$ накладывает штраф на сложность модели. При $\lambda=0$ модель сводится к методу наименьших квадратов. Чем больше значение параметра $\lambda$, тем ближе коэффициенты модели оказываются к нулю. Оптимальное значение параметра $\lambda$ подбирается отдельно для каждой конкретной задачи.

Свободный член $\beta_0$ не включается в штрафное слагаемое, иначе величина смещения оценок коэффициентов стала бы зависеть от начала координат для $y_i$. Если бы свободный член входил в штрафное слагаемое, то изменение всех $y_i$ на $c$ (например, переход к центрированным данным путём вычитания среднего) привело бы к изменению оценок угловых коэффициентов и изменению прогнозов модели на величину, отличную от $c$.

Регрессоры должны быть стандартизованы, т. е. должны удовлетворять условиям:

$\sum\limits_{i=1}^nx_{ij} =0, \sum\limits_{i=1}^nx_{ij}^2 =1, j=1,2,…,p$.

Если зависимая переменная центрирована, т. е. $∑_{i=1}^ny_i =0$, то задачу по определению оценок коэффициентов гребневой регрессии можно переписать в матричной форме:

$Q(λ)=(y-Xβ)^T (y-Xβ)+λβ^T$.

Оценка параметров для гребневой регрессии в матричной форме задаётся соотношением:

$\widehat{β^{ridge}}=(X^T X+λI)^{-1} X^T y$,

где $I$ – единичная матрица $p ×p$. Матрицу $\lambda I$ называют гребнем.

Оценка гребневой регрессии является смещённой, где смещение определяется как:

$Bias(\widehat{β^{Ridge}} )=-λ(X^⊤ X+λI)^{-1} β$.

Дисперсия оценок для гребневой регрессии находится по формуле:

$Var(\widehat{β^{Ridge}})=σ^2 (X^⊤ X+λI)^{-1} (X^⊤ X) (X^⊤ X+λI)^{-1}$,

что ниже, чем для линейной регрессии без регуляризации.

Таким образом, гребневая регрессия увеличивает эффективность оценок (снижает дисперсию оценок) в обмен на некоторую величину смещения.

$L_2$-регуляризацию или гребневую регрессию иногда называют регуляризацией Тихонова, ссылаясь на работы А. Н. Тихонова по обратным и некорректно поставленным (задача, которая не обладает одним из свойств: существование, единственность и устойчивость решения) задачам. Идея квадратичного штрафа на величину параметров также используется в нейронных сетях.

Оценка гребневой регрессии с двумя регрессорами.Оценка гребневой регрессии с двумя регрессорами.На рисунке изображён случай гребневой регрессии с двумя параметрами. Сумма квадратов остатков изображена в виде красных эллипсов с центром в точке, координаты которой соответствуют оценкам коэффициентов линейной регрессии без регуляризации. Голубая область – это штрафное ограничение $β_1^2+β_2^2≤t$. Решение для случая гребневой регрессии находится в точке касания контуров суммы квадратов остатков и границы голубой области.

$L_2$-регуляризация уменьшает коэффициенты, а не приравнивает их к нулю, поэтому гребневая регрессия не упрощает модель за счёт исключения переменных. Следовательно, количество переменных в модели не меняется, а значит, модель не становится более интерпретируемой с содержательной точки зрения. Для преодоления этого недостатка был предложен метод эластичной сети, в котором используется как $L_2$, так и $L_1$-регуляризация.