Лассо-регрессия

Лассо́-регре́ссия (англ. lasso или LASSO, least absolute shrinkage and selection operator), вариация линейной регрессии, которая используется в статистике и эконометрике для решения проблемы мультиколлинеарности (наличие линейной зависимости между объясняющими переменными) и отбора наиболее информативных (с точки зрения способности объяснять дисперсию зависимой переменной) признаков. В данном методе к задаче минимизации суммы квадратов остатков добавляется штраф на величину абсолютных значений параметров, который также называют ${\displaystyle L_{1}}$-регуляризацией (${\displaystyle L_{1}}$regularization) или штрафом lasso. ${\displaystyle L_{1}}$-регуляризация приводит к тому, что коэффициенты модели у наименее информативных признаков приравниваются к нулю. Это позволяет проводить отбор признаков в модели и сделать модель более интерпретируемой. Метод был предложен Р. Тибширани (род. 1956) в 1996 г.

Пусть есть выборка из ${\displaystyle N}$ наблюдений, которые состоят из зависимой (объясняемой) переменной ${\displaystyle y_{i}}$ и ${\displaystyle p}$ регрессоров (объясняющих переменных). Тогда оценка лассо-регрессии задаётся соотношением:

${\displaystyle {\widehat {\beta ^{lasso}}}=\operatorname {argmin} \limits _{\beta }\{{\frac {1}{2}}\sum \limits _{i=1}^{N}(y_{i}-\beta _{0}-\sum \limits _{j=1}^{p}x_{ij}\beta _{j})^{2}+\lambda \sum \limits _{j=1}^{p}\mid \beta _{j}\mid \}}$,

где ${\displaystyle y_{i}}$ – ${\displaystyle i}$-ое наблюдение зависимой переменной, ${\displaystyle x_{ij}}$ – ${\displaystyle i}$-ое наблюдение ${\displaystyle j}$-го регрессора, ${\displaystyle \beta _{0}}$ – свободный член, ${\displaystyle \beta _{j}}$ – коэффициенты модели, ${\displaystyle \lambda }$ – параметр регуляризации.

Параметр ${\displaystyle \lambda \geq 0}$ накладывает штраф на сложность модели. При ${\displaystyle \lambda =0}$ модель сводится к методу наименьших квадратов. Чем больше параметр ${\displaystyle \lambda }$, тем больше коэффициентов приравнивается к нулю.

Регрессоры должны быть стандартизованы, т. е. должны удовлетворять условиям:

${\displaystyle \sum \limits _{i=1}^{n}x_{ij}=0,\sum \limits _{i=1}^{n}x_{ij}^{2}=1,j=1,2,\ldots ,p}$.

Эквивалентный способ описать оценку регрессии lasso:

${\displaystyle {\widehat {\beta ^{lasso}}}=\operatorname {argmin} \limits _{\beta }\sum \limits _{i=1}^{N}(y_{i}-\beta _{0}-\sum \limits _{j=1}^{p}x_{ij}\beta _{j})^{2}}$,

${\displaystyle \sum \limits _{j=1}^{p}\mid \beta _{j}\mid \leq t}$,

где ${\displaystyle t}$ – заранее заданный параметр, который определяет степень регуляризации.

Оценка лассо-регрессии, в отличие от другого способа решения проблемы мультиколлинеарности – гребневой регрессии, нелинейна по ${\displaystyle y_{i}}$ и не имеет аналитического решения. Задача поиска оптимальных коэффициентов для лассо-регрессии является задачей квадратичного программирования.

На рисунке (^[1] P. 71) изображён случай лассо-регрессии с двумя параметрами. Сумма квадратов остатков изображена в виде красных эллипсов с центром в точке, координаты которой соответствуют оценкам коэффициентов линейной регрессии без регуляризации. Голубая область – это штрафное ограничение ${\displaystyle \mid \beta _{1}\mid +\mid \beta _{2}\mid \leq t}$. Решение для случая лассо-регрессии находится в точке касания контуров суммы квадратов остатков и границы голубой области. Как видно на графике, точка касания может находиться в углах ромба, т. е. некоторые коэффициенты будут приравниваться к нулю, а значение этой переменной не будет влиять на прогноз модели.

Для устранения недостатков лассо-регрессии на её основе были предложены модифицированные методы решения проблемы мультиколлинеарности, к примеру метод эластичной сети.