Регрессионный анализ

Регрессио́нный ана́лиз, раздел математической статистики, объединяющий практические методы исследования регрессионной зависимости между величинами по статистическим данным. В отличие от функциональной зависимости ${\displaystyle y=y(x)}$, когда каждому значению независимой переменной ${\displaystyle x}$ соответствует одно определённое значение величины ${\displaystyle y}$, при регрессионной зависимости одному и тому же значению ${\displaystyle x}$ могут соответствовать, в зависимости от случая, различные значения величины ${\displaystyle y}$. Примером такого рода зависимости служит, например, зависимость средних диаметров сосен от их высот.

Изучение регрессии с точки зрения теории вероятностей основано на том, что случайные величины ${\displaystyle X}$ и ${\displaystyle Y}$ с заданным совместным распределением вероятностей связаны вероятностной зависимостью: при каждом фиксированном значении ${\displaystyle X=x}$ величина ${\displaystyle Y}$ является случайной величиной с определённым (зависящим от ${\displaystyle x}$) условным распределением вероятностей. Регрессия величины ${\displaystyle Y}$ по величине ${\displaystyle X}$ определяется условным математическим ожиданием ${\displaystyle Y}$, вычисленным при условии, что ${\displaystyle X=x}$:

${\displaystyle {\mathsf {E}}{\it {(Y\mid x)=y(x)}}}$.

График функции ${\displaystyle y=y(x)}$ называется линией или кривой регрессии величины ${\displaystyle Y}$ по ${\displaystyle X}$; переменная ${\displaystyle x}$ называется регрессионной переменной или регрессором. Точность, с которой уравнение регрессии ${\displaystyle Y}$ по ${\displaystyle X}$ отражает изменение ${\displaystyle Y}$ в среднем при изменении ${\displaystyle x}$, измеряется условной дисперсией величины ${\displaystyle Y}$, вычисленной для каждого значения ${\displaystyle X=x}$:

${\displaystyle {\mathsf {\it {}}}D(Y\mid x)=\sigma ^{2}(x)}$.

Если ${\displaystyle \sigma ^{2}(x)=0}$ при всех значениях ${\displaystyle x}$, то ${\displaystyle Y}$ и ${\displaystyle X}$ связаны строгой функциональной зависимостью. Если ${\displaystyle \sigma ^{2}(x)\neq 0}$ ни при каком значении ${\displaystyle x}$ и ${\displaystyle y(x)}$ не зависит от ${\displaystyle x}$, то говорят, что регрессия ${\displaystyle Y}$ по ${\displaystyle X}$ отсутствует. Аналогичным образом определяется регрессия ${\displaystyle X}$ по ${\displaystyle Y}$.

Линии регрессии обладают следующим свойством: среди всех действительных функций ${\displaystyle f(x)}$ минимум математического ожидания величины ${\displaystyle {\mathsf {E}}{\it {(Y-f(X))^{2}}}}$ достигается для функции ${\displaystyle f(x)={\mathsf {E}}{\it {(Y\mid x)}}}$, т. е. регрессия ${\displaystyle Y}$ по ${\displaystyle X}$ даёт наилучшее, в указанном смысле, представление величины ${\displaystyle Y}$ по величине ${\displaystyle X}$. Это свойство используется для прогноза ${\displaystyle Y}$ по ${\displaystyle X}$: если непосредственно наблюдается лишь компонента ${\displaystyle X}$ вектора ${\displaystyle (X,Y)}$, то в качестве прогнозируемого значения ${\displaystyle Y}$ используют величину ${\displaystyle y(X)}$.

Наиболее простым является случай, когда регрессия ${\displaystyle Y}$ по ${\displaystyle X}$ линейна:

${\displaystyle {\mathsf {E}}{\it {(Y\mid x)={\rm {\beta _{0}+\beta _{1}{\it {x}}}}}}}$.

Коэффициенты ${\displaystyle \beta _{0}}$ и ${\displaystyle \beta _{1}}$ называются коэффициентами регрессии, их можно вычислять по формулам

${\displaystyle \beta _{0}=m_{Y}-\rho {\frac {\sigma _{Y}}{\sigma _{X}}}m_{x},\quad \beta _{1}=\rho {\frac {\sigma _{Y}}{\sigma _{X}}}}$,

где ${\displaystyle m_{X},m_{Y}}$ – математические ожидания, ${\displaystyle \sigma _{X}^{2},\sigma _{Y}^{2}}$ – дисперсии ${\displaystyle X,Y}$, а ${\displaystyle \rho }$ – коэффициент корреляции между ${\displaystyle X}$ и ${\displaystyle Y}$. Кривая регрессии при этом имеет вид

${\displaystyle y=m_{Y}+\rho {\frac {\sigma _{Y}}{\sigma _{X}}}(x-m_{X})}$.

В общем случае кривая регрессии обычно выражается линейной комбинацией тех или иных заданных функций:

${\displaystyle y(x)=\beta _{0}\phi _{0}(x)+\beta _{1}\phi _{1}(x)+...+\beta _{m}\phi _{m}(x)}$.

Наиболее важное значение имеет полиномиальная регрессия, при которой

${\displaystyle y(x)=\beta _{0}+\beta _{1}x+...+\beta _{m}x^{m}}$.

Оценка неизвестных коэффициентов ${\displaystyle \beta _{0},...,\beta _{m}}$ осуществляется методом наименьших квадратов. Оценки ${\displaystyle {\hat {\beta }}_{0},...,{\hat {\beta }}_{m}}$ параметров ${\displaystyle \beta _{0},...,\beta _{m}}$, полученные этим методом, называются выборочными коэффициентами регрессии, а многочлен

${\displaystyle {\hat {y}}(x)={\hat {\beta }}_{0}+{\hat {\beta }}_{1}x+...+{\hat {\beta }}_{m}x_{m}}$

определяет эмпирическую линию регрессии, которая служит статистической оценкой неизвестной истинной линии регрессии. Этот метод в предположении нормальной распределённости результатов наблюдений приводит к оценкам, совпадающим с оценками, полученными методом максимального правдоподобия. Оценки, полученные этим методом, оказываются, однако, в некотором смысле наилучшими и в случае отклонения от нормальной распределённости, если только объём выборки достаточно велик.