Корреляционный анализ

Корреляцио́нный ана́лиз, раздел математической статистики, предназначенный для оценки корреляции между случайными величинами и проверки гипотез о значимости связи между ними. Корреляционный анализ статистических данных использует следующие основные практические приёмы: построение корреляционного поля и составление корреляционной таблицы; вычисление выборочных коэффициентов корреляции; проверку статистических гипотез значимости связи. Дальнейшее исследование может заключаться в установлении конкретного вида зависимости между величинами (см. Регрессионный анализ).

Вспомогательными средствами при анализе выборочных двумерных данных являются корреляционное поле и корреляционная таблица. Корреляционное поле получают, нанося выборочные точки на координатную плоскость. По характеру расположения точек поля можно составить предварительное представление о форме зависимости случайных величин (например, о том, что одна величина в среднем возрастает или убывает при возрастании другой). Для численной обработки результаты обычно группируют и представляют в форме корреляционной таблицы. В каждой клетке этой таблицы приводятся численности ${\displaystyle n_{ij}}$ тех пар ${\displaystyle (x,y)}$, компоненты которых попадают в соответствующие интервалы группировки по каждой переменной. Обычно длины интервалов группировки (по каждой из переменных) выбирают равными между собой и центры ${\displaystyle x_{i}}$ (соответственно ${\displaystyle y_{j}}$) этих интервалов и числа ${\displaystyle n_{ij}}$ используют в качестве основы для расчётов.

Корреляционная таблица позволяет, в частности, вычислить выборочный коэффициент корреляции и выборочное корреляционное отношение. Выборочный коэффициент корреляции определяется по формуле

${\displaystyle {\hat {\rho }}={\frac {\displaystyle \sum \nolimits _{i}\sum \nolimits _{j}(x_{i}-{\bar {x}})(y_{j}-{\bar {y}})n_{ij}}{{\sqrt {\displaystyle \sum \nolimits _{i}n_{i\cdot }(x_{i}-{\bar {x}})^{2}}}{\sqrt {\displaystyle \sum \nolimits _{j}n_{\cdot j}}}(y_{j}-{\bar {y}})^{2}}}}$,

где

${\displaystyle n_{i\cdot }=\sum \nolimits _{j}n_{ij},\quad n_{\cdot j}=\sum \nolimits _{i}n_{ij}}$
${\displaystyle barx=\sum \nolimits _{i}n_{i\cdot }x_{i}/n,\quad {\bar {y}}=\sum \nolimits _{j}n_{\cdot j}y_{j}/n.}$

При большом числе независимых наблюдений, подчинённых одному и тому же распределению, близкому к нормальному, ${\displaystyle {\hat {\rho }}}$ близок к истинному коэффициенту корреляции ${\displaystyle \rho }$ . В других случаях в качестве характеристики связи между ${\displaystyle X}$ и ${\displaystyle Y}$ рекомендуется использовать корреляционное отношение ${\displaystyle \eta _{Y\mid X}^{2}}$, интерпретация которого не зависит от вида исследуемой зависимости. Выборочное значение ${\displaystyle {\hat {\eta }}_{Y\mid X}^{2}}$ вычисляется по данным корреляционной таблицы:

${\displaystyle {\hat {\eta }}_{Y\mid X}^{2}={\frac {\displaystyle \sum \nolimits _{i}n_{i\cdot }({\bar {y}}_{i}-{\bar {y}})^{2}/n}{\displaystyle \sum \nolimits _{j}n_{\cdot j}(y_{j}-{\bar {y}})^{2}/n}}}$,

где числитель характеризует рассеяние условных средних значений ${\displaystyle {\bar {y}}_{i}}$ около безусловного среднего ${\displaystyle {\bar {y}}}$ (аналогично определяется выборочное значение ${\displaystyle {\hat {\eta }}_{X\mid Y}^{2}}$). Величина ${\displaystyle {\hat {\eta }}_{Y\mid X}^{2}-{\hat {\rho }}^{2}}$ используется в качестве индикатора отклонения регрессии от линейной.

Один из методов проверки гипотезы о значимости связи между ${\displaystyle X}$ и ${\displaystyle Y}$ основывается на распределении выборочного коэффициента корреляции. В случае нормального распределения величина выборочного коэффициента корреляции ${\displaystyle {\hat {\rho }}}$ считается значимо отличной от нуля, если выполняется неравенство

${\displaystyle {\hat {\rho }}^{2}>(1+(n-2)/t_{\alpha }^{2})^{-1}}$,

где ${\displaystyle t_{\alpha }}$ есть квантиль порядка ${\displaystyle \alpha }$ распределения Стьюдента с ${\displaystyle n-2}$ степенями свободы, соответствующая выбранному уровню значимости ${\displaystyle \alpha }$. В случае ${\displaystyle \rho \neq 0}$ часто используют т. н. ${\displaystyle z}$-преобразование Фишера, заменяя величину ${\displaystyle {\hat {\rho }}}$ на

${\displaystyle z={1 \over 2}\ln {\frac {1+{\hat {\rho }}}{1-{\hat {\rho }}}}}$.

Уже при сравнительно небольших ${\displaystyle n}$ распределение величины ${\displaystyle z}$ хорошо приближается нормальным распределением с математическим ожиданием, равным

${\displaystyle {1 \over 2}\ln {\frac {1+\rho }{1-\rho }}+{\frac {\rho }{2(n-1)}}}$,

и дисперсией, равной ${\displaystyle 1/(n-3)}$. Из этого можно определить интервалы (доверительные границы) для истинного коэффициента корреляции ${\displaystyle \rho }$.