Мультиколлинеа́рность, наличие линейной зависимости между объясняющими переменными, что является нарушением одного из ключевых предположений классической линейной модели множественной регрессии. Термин «мультиколлинеарность» ввёл в научный оборот норвежский экономист Р. Фриш в 1934 г.

Различают совершенную коллинеарность, которая означает наличие функциональной линейной зависимости, и частичную (просто мультиколлинеарность) – наличие сильной корреляции между регрессорами.

Совершенная (полная) мультиколлинеарность

В случае полной мультиколлинеарности в линейной модели регрессии с $p$ объясняющими переменными: $y_{i} = \theta _{1} x_{i1} + ...+\theta _{p} x_{ip} + \varepsilon _{i}, i=1,...,n, n \geq p$ (где $y_i$ – значение зависимой переменной для i-го объекта, $x_{ik}$ – значение k-й объясняющей переменной для i-го объекта, $\theta_k$ – коэффициент, подлежащий оцениванию, $\varepsilon_i$ – случайная ошибка), оказывается невозможным получить однозначно определённые значения оценок коэффициентов методом наименьших квадратов.

Если объединить значения $x_{ij}$ всех $p$ регрессоров во всех $n$ наблюдениях в матрицу $X$, значения $y_{i}$ объясняемой (зависимой) переменной объединить в вектор $y$, значения $\theta_{j}$ регрессионных коэффициентов – в вектор $\theta$, значения случайных ошибок $\varepsilon_{i}$ – в вектор $\varepsilon$, так что:

$X = \left( \begin{array}{cccc} x_{11} & x_{12} & \ldots & x_{1p}\\ x_{21} & x_{22} & \ldots & x_{2p}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n1} & x_{n2} & \ldots & x_{np} \end{array} \right), \text{ } y = \left( \begin{array}{c} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \\ \end{array} \right), \text{ } \theta = \left( \begin{array}{c} \theta_{1} \\ \theta_{2} \\ \vdots \\ \theta_{p} \\ \end{array} \right), \varepsilon = \left( \begin{array}{c} \varepsilon_{1} \\ \varepsilon_{2} \\ \vdots \\ \varepsilon_{n} \\ \end{array} \right),$

то модель можно записать в матрично-векторной форме:

$y = X \theta + \varepsilon$.

Если столбцы матрицы $X$ линейно независимы, то оценка наименьших квадратов $\hat{\theta }$ для вектора коэффициентов $\theta$ однозначно вычисляется по формуле $\hat{\theta } = (X^{T}X)^{-1} X^{T}y$, в которой матрица $X^{T}$ – результат транспонирования матрицы $X$, а $(X^{T}X)^{-1}$ – матрица, обратная к матрице $X^{T} X$.

Совершенная мультиколлинеарность означает линейную зависимость столбцов матрицы $X$. При наличии совершенной мультиколлинеарности детерминант матрицы $X^{T}X$ равен нулю, эта матрица не имеет обратной (в обычном смысле), и указанная формула неприменима. Линейная зависимость столбцов матрицы $X$ обязательно возникает, когда одна из объясняющих переменных по самому своему построению является точной линейной комбинацией других объясняющих переменных.

Иллюстрацией этого служит ситуация, известная под названием ловушки фиктивных переменных (англ. dummy trap). Ловушка фиктивных переменных может возникать при анализе моделей временных рядов, когда в правую часть уравнения регрессии для квартальных данных включаются константа и 4 сезонных дамми, бинарные переменные, каждая из которых равна 1, только если наблюдение произведено в соответствующий квартал года. В этом случае сумма 4 сезонных дамми-переменных будет равна единице для каждого момента времени. Константа также принимает значение 1 для каждого момента времени. В результате между константой и 4 дамми-переменными возникает линейная зависимость, а в регрессионной модели совершенная мультиколлинеарность. Если категориальная переменная может принимать k различных значений, то для избежания совершенной мультиколлинеарности следует создавать только k-1 фиктивных переменных.

Возникновение функциональной линейной связи между объясняющими переменными в практических задачах имеет малую вероятность. Гораздо чаще в практике эконометрического моделирования возникает ситуация высокой корреляции между независимыми переменными (частичная мультиколлинеарность).

Несовершенная мультиколлинеарность

Ситуация, когда в линейной модели регрессии предположение об отсутствии линейной зависимости между столбцами матрицы $X$ значений регрессоров выполнено, но при этом матрица $X^{T} X$ близка к вырожденной. Хотя применение метода наименьших квадратов в такой ситуации определяет оценку $\hat{\theta }$ вектора $\theta$ коэффициентов однозначно, эта оценка может иметь неудовлетворительные свойства. В частности, оценки коэффициентов оказываются неустойчивыми: это проявляется в том, что небольшое изменение исходных статистических данных (добавление или исключение небольшого количества наблюдений) приводит к существенному изменению оценок коэффициентов регрессионной модели, вплоть до изменения их знаков.

Указанная оценка вычисляется по формуле $\hat{\theta} = (X^{T}X)^{-1} X^{T}y$, где $y$ – вектор-столбец значений объясняемой переменной. Если выполнены и остальные условия теоремы Гаусса – Маркова, то ковариационная матрица вектора $\theta$ находится по формуле $Cov ( \hat{\theta} |X) = \sigma ^{2} ( X^{T} X)^{-1}$, где $\sigma ^{2}$ – дисперсия случайной ошибки. Если матрица близка к вырожденной, то дисперсии оценок коэффициентов могут оказаться достаточно большими. Это может приводить к признанию каждой из оценок статистически незначимой при применении $t$-критериев, тогда как регрессия в целом признаётся значимой при использовании соответствующего $F$-критерия. В такой ситуации оказывается невозможным разделение влияния на объясняющую переменную всех объясняющих переменных, на это в своей работе 1934 г. обратил внимание норвежский экономист Р. Фриш.

Указанием на то, что $p$-я объясняющая переменная «почти является» линейной комбинацией остальных объясняющих переменных, может служить большое значение коэффициента возрастания дисперсии (variance inflation factor) оценки коэффициента при этой переменной:

$(VIF)_{p} = \frac{1}{1- R_p^2 }$,

вследствие наличия такой «почти линейной» зависимости между этой и остальными объясняющими переменными. Здесь $R_p^2$ – коэффициент детерминации при оценивании методом наименьших квадратов модели регрессии $p$-й объясняющей переменной на остальные $p$-1 объясняющие переменные: $x_{ip} = \gamma_{1} x_{i1} +...+ \gamma_{p-1} x_{i,p-1} + \nu_{i}, i=1,...,n.$

Если $R_p^2 = 0$, то $(VIF)_{p} =1$, и это соответствует некоррелированности $p$-й переменной с остальными переменными. Если же $R_p^2 \neq 0$, то $(VIF)_{p} >1$, и чем больше корреляция $p$-й переменной с остальными переменными, тем в большей мере возрастает дисперсия оценки коэффициента при p-й переменной по сравнению с минимально возможной величиной этой оценки.

Аналогично определяется коэффициент возрастания дисперсии $(VIF)_{j}$ оценки коэффициента при $j$-й объясняющей переменной для каждого $j= 1,...,p$:

$(VIF)_{j} = \frac{1}{1- R_j^2 }.$

Здесь $R_j^2$ – коэффициент детерминации при оценивании методом наименьших квадратов модели линейной регрессии $j$-й объясняющей переменной на остальные объясняющие переменные.

Слишком большие значения коэффициентов возрастания дисперсии указывают на то, что статистические выводы для соответствующих объясняющих переменных могут быть весьма неопределёнными: доверительные интервалы для коэффициентов могут быть слишком широкими и включать в себя как положительные, так и отрицательные значения, что ведёт к признанию коэффициентов при этих переменных статистически незначимыми при использовании $t$-критериев.

Однако высокие значения коэффициента возрастания дисперсии не всегда приводят к широким доверительным интервалам оценок коэффициентов (подробнее см. пример 3.3.5 в Носко, 2021). Так, формулу для дисперсии оценки коэффициента при $j$-й объясняющей переменной можно представить в виде:

$D( \hat{\theta}_{j}) = \frac{\sigma ^{2} }{\sum\limits_{i=1}^N (x_{ij} - \bar{x}_{j} )^{2} } (VIF)_{j}$.

Из этой формулы вытекает, что большое значение $(VIF)_{j}$ может компенсироваться малым значением $\sigma^{2}$ и большим значением суммы ${\sum\limits_{i=1}^N (x_{ij} - \bar{x}_{j} )^{2} }$.

Простейшим методом борьбы с несовершенной мультиколлинеарностью является исключение из числа регрессоров переменной, имеющей наибольшее значение коэффициента возрастания дисперсии. При этом может возникнуть смещение оценок коэффициентов при оставшихся в уравнении объясняющих переменных. Используют также гребневые оценки, позволяющие уменьшить дисперсии оценок коэффициентов за счёт допущения некоторого смещения этих оценок. Метод лассо позволяет производить отбор из большого количества потенциальных объясняющих переменных для включения в модель небольшого количества регрессоров. В этом методе минимизируется сумма квадратов отклонений фактического значения зависимой переменной от модельного, как в обычной регрессии, но с дополнительным ограничением на сумму абсолютных значений коэффициентов. Снизить размерность модели можно также с использованием метода главных компонент.