Лассо́-регре́ссия (англ. lasso или LASSO, least absolute shrinkage and selection operator), вариация линейной регрессии, которая используется в статистике и эконометрике для решения проблемы мультиколлинеарности (наличие линейной зависимости между объясняющими переменными) и отбора наиболее информативных (с точки зрения способности объяснять дисперсию зависимой переменной) признаков. В данном методе к задаче минимизации суммы квадратов остатков добавляется штраф на величину абсолютных значений параметров, который также называют $L_1$-регуляризацией ($L_1$regularization) или штрафом lasso. $L_1$-регуляризация приводит к тому, что коэффициенты модели у наименее информативных признаков приравниваются к нулю. Это позволяет проводить отбор признаков в модели и сделать модель более интерпретируемой. Метод был предложен Р. Тибширани (род. 1956) в 1996 г.

Пусть есть выборка из $N$ наблюдений, которые состоят из зависимой (объясняемой) переменной $y_i$ и $p$ регрессоров (объясняющих переменных). Тогда оценка лассо-регрессии задаётся соотношением:

$\widehat{β^{lasso} } =\argmin\limits_{β⁡}\{\frac{1}{2}\sum\limits_{i=1}^N(y_i-β_0-\sum\limits_{j=1}^px_{ij} β_j )^2 +λ\sum\limits_{j=1}^p|β_j| \}$,

где $y_i$ – $i$-ое наблюдение зависимой переменной, $x_{ij}$ – $i$-ое наблюдение $j$-го регрессора, $\beta_0$ – свободный член, $\beta_j$ – коэффициенты модели, $\lambda$ – параметр регуляризации.

Параметр $\lambda \ge0$ накладывает штраф на сложность модели. При $\lambda=0$ модель сводится к методу наименьших квадратов. Чем больше параметр $\lambda$, тем больше коэффициентов приравнивается к нулю.

Регрессоры должны быть стандартизованы, т. е. должны удовлетворять условиям:

$\sum\limits_{i=1}^nx_{ij} =0, \sum\limits_{i=1}^nx_{ij}^2 =1, j=1,2,…,p$.

Эквивалентный способ описать оценку регрессии lasso:

$\widehat{β^{lasso} } =\argmin\limits_{β⁡}\sum\limits_{i=1}^N(y_i-β_0-\sum\limits_{j=1}^px_{ij} β_j )^2$,

$\sum \limits _{j=1}^p |β_j| ≤t$,

где $t$ – заранее заданный параметр, который определяет степень регуляризации.

Оценка лассо-регрессии, в отличие от другого способа решения проблемы мультиколлинеарности – гребневой регрессии, нелинейна по $y_i$ и не имеет аналитического решения. Задача поиска оптимальных коэффициентов для лассо-регрессии является задачей квадратичного программирования.

Оценка LASSO-регрессии с двумя регрессорами.Оценка LASSO-регрессии с двумя регрессорами.На рисунке (Hastie. 2009. P. 71) изображён случай лассо-регрессии с двумя параметрами. Сумма квадратов остатков изображена в виде красных эллипсов с центром в точке, координаты которой соответствуют оценкам коэффициентов линейной регрессии без регуляризации. Голубая область – это штрафное ограничение $|β_1 |+|β_2 |≤t$. Решение для случая лассо-регрессии находится в точке касания контуров суммы квадратов остатков и границы голубой области. Как видно на графике, точка касания может находиться в углах ромба, т. е. некоторые коэффициенты будут приравниваться к нулю, а значение этой переменной не будет влиять на прогноз модели.

Для устранения недостатков лассо-регрессии на её основе были предложены модифицированные методы решения проблемы мультиколлинеарности, к примеру метод эластичной сети.