Метод эластичной сети

Ме́тод эласти́чной сети́ (англ. elastic net regularization), гибрид методов регрессии lasso и гребневой регрессии, который используется в эконометрике для решения проблемы мультиколлинеарности (наличие линейной зависимости между объясняющими переменными) и отбора наиболее информативных (с точки зрения способности объяснять дисперсию зависимой переменной) признаков. Метод использует как ${\displaystyle L_{1}}$-, так и ${\displaystyle L_{2}}$-регуляризацию, что позволяет учитывать достоинства обоих методов.

Пусть есть выборка из ${\displaystyle N}$ наблюдений, которые состоят из зависимой (объясняемой) переменной ${\displaystyle y_{i}}$ и ${\displaystyle p}$ регрессоров (объясняющих переменных). Тогда оценка метода эластичной сети задаётся соотношением:

${\displaystyle {\widehat {\beta ^{elasticnet}}}=\operatorname {argmin} \limits _{\beta }\{{\frac {1}{2}}\sum \limits _{i=1}^{N}(y_{i}-\beta _{0}-\sum \limits _{j=1}^{p}x_{ij}\beta _{j})^{2}+\lambda _{1}\sum \limits _{j=1}^{p}\mid \beta _{j}\mid +\lambda _{2}\sum \limits _{j=1}^{p}\beta _{j}^{2}\}}$,

где ${\displaystyle y_{i}}$ – ${\displaystyle i}$-ое наблюдение зависимой переменной, ${\displaystyle x_{ij}}$ – ${\displaystyle i}$-ое наблюдение ${\displaystyle j}$-го регрессора, ${\displaystyle \beta _{0}}$ – свободный член, ${\displaystyle \beta _{j}}$ – коэффициенты модели, ${\displaystyle \lambda _{1},\lambda _{2}}$ – параметры регуляризации.

Регрессоры должны быть стандартизованы:

${\displaystyle \sum \limits _{i=1}^{n}x_{ij}=0,\sum \limits _{i=1}^{n}x_{ij}^{2}=1,j=1,2,\ldots ,p}$.

Если ввести обозначение ${\displaystyle \alpha ={\frac {\lambda _{2}}{\lambda _{1}+\lambda _{2}}}}$, то эквивалентный способ задать оценку параметров метода эластичной сети:

${\displaystyle {\widehat {\beta ^{elasticnet}}}=\operatorname {argmin} \limits _{\beta }\sum \limits _{i=1}^{N}(y_{i}-\beta _{0}-\sum \limits _{j=1}^{p}x_{ij}\beta _{j})^{2}}$,

${\displaystyle (1-\alpha )\sum \limits _{j=1}^{p}\mid \beta _{j}\mid +\alpha \sum \limits _{j=1}^{p}\beta _{j}^{2}\leq t}$,

где ${\displaystyle t}$ – заранее заданный параметр, который определяет степень регуляризации.

Комбинация ${\displaystyle L_{1}}$- и ${\displaystyle L_{2}}$-штрафов в методе эластичной сети, с одной стороны, позволяет проводить отбор наиболее информативных признаков, как в регрессии lasso. С другой стороны, она позволяет уменьшать коэффициенты модели, как гребневая регрессия.

На рисунке сравниваются штрафные ограничения для ${\displaystyle L_{q}}$-штрафа и штрафа метода эластичной сети с параметром ${\displaystyle \alpha =0,2}$. Ограничения различаются тем, что график для штрафа эластичной сети имеет острые (недифференцируемые) углы. За счёт такой формы штрафное ограничение позволяет отбирать наиболее информативные признаки и сокращать коэффициенты переменных.