Ме́тод гла́вных компоне́нт (principal component analysis, PCA), способ снижения размерности данных с потерей наименьшего объёма информации.

Метод предложен К. Пирсоном в 1901 г., а затем развит американским экономистом и статистиком Х. Хотеллингом. Цель метода состоит в том, чтобы оценивать и визуализировать сходства между наблюдениями, а также линейные связи между показателями, которыми характеризуются эти наблюдения.

Содержательная составляющая метода

Если в наборе данных содержится более трёх переменных, то может быть очень сложно графически визуализировать данные в многомерном пространстве. Возникает задача снижения размерности. Метод главных компонент (МГК) решает эту задачу путём извлечения важной информации, содержащейся в многомерных данных. МГК отражает сохранённую информацию в значительно меньшем количестве новых переменных (факторов), называемых главными компонентами. Новые факторы являются линейной комбинацией исходных переменных.

Цель метода состоит в том, чтобы определить направления (т. е. главные оси или главные компоненты), вдоль которых вариация данных максимальна. В результате размерность многомерных данных снижается до двух или трёх главных компонент, которые можно визуализировать графически, потеряв наименьший объём информации из исходного массива данных.

МГК широко используется во многих отраслях: от биоинформатики до нейробиологии, от анализа медицинских данных до работы с массивами информации в социальных науках. Например, в экономике метод используется для прогнозирования экономических показателей, таких как валовый внутренний продукт и инфляция, а в финансах – для изучения факторов, влияющих на финансовые рынки. С появлением больших данных сферы для применения этого метода постоянно расширяются.

Математическое описание метода

Предположим, что есть таблица данных $X$ размерности $n × p$, то есть набор из $n$ наблюдений, характеризующихся $p$ количественными переменными. Пространство наблюдений обозначают векторным пространством $\mathbb{R^p}$, где каждое наблюдение $i$ связано с вектором $x_i$, $i = 1,…,n$ и представлено точкой в ​​этом пространстве. Аналогично пространство переменных обозначают векторным пространством $\mathbb{R^n}$, где каждой переменной $V_k$ сопоставлен вектор $x_k$, $k = 1,…,p$ в этом пространстве. Элементы $X$ обозначаются как $x_{i,k}$.

Чтобы иметь возможность определить сходство двух наблюдений $i$ и $j$, необходима мера расстояния между ними. Обычно используется Евклидово расстояние, определяемое как

$d^2 (i,j)=\sum\limits_{k=1}^p(x_{ik}-x_{jk} )^2$

Недостаток этого способа измерения расстояния состоит в том, что если какая-то из p-переменных характеризуется числовыми значениями более высоких порядков, чем оставшиеся переменные, то при определении расстояния между объектами этой переменной будет придаваться больший вес. Чтобы преодолеть проблему разной размерности, требуется нормализовать переменные, учитывая:

$d_m^2 (i,j)=\sum\limits_{k=1}^pm_k (x_{ik}-x_{jk})^2 , m_k=s_k^{-2}=[\frac{1}{n}\sum\limits_{i=1}^n(x_{ik}-\bar x_k )^2 ]^{-1}$,

где веса $m_k$ обратны дисперсиям переменных. В самом общем случае в $\mathbb{R^p}$ можно ввести скалярное произведение через положительно определённую симметричную матрицу M размера $p × p$:

$<x_i,x_j >_M=x_i ^T M x_j=\sum\limits_{k=1}^p\sum\limits_{l=1}^p m_{kl} x_{ik} x_{jl}$,

затем измерить расстояние между двумя наблюдениям $i$ и $j$, используя евклидово расстояние $d_m$, определяемое как:

$d_M^2 (i,j)=<x_i-x_j,x_i-x_j >_M=(x_i-x_j )^T M (x_i-x_j )$.

Чтобы определить, насколько связаны между собой две переменные – $V_k$ и $V_h$, необходимо вычислить коэффициент линейной корреляции между ними. Коэффициент линейной корреляции задаётся соотношением:

$r(k,h)=\frac{cov(V_k,V_h )}{\sqrt{var(V_k )var(V_h )}}=\frac{1}{n}\sum\limits_{i=1}^n\left(\frac{x_{ik}-\bar x_k}{s_k} \right) \left (\frac{x_{ih}-\bar x_h}{s_h} \right)$,

где $\bar x_k$ и $s_k$ обозначают соответственно среднее значение и стандартное отклонение переменной $V_k$. Заметим, что в данной формуле вес всех наблюдений одинаков и равен $1/n$. Также могут быть использованы разные веса. Обозначим $D_n$ диагональную матрицу, состоящую из набора n весов:

$D_n=\frac{1}{n} I_n$.

В рамках МГК осуществляется линейное преобразование, которое исходное пространство данных трансформирует в новую систему координат (факторные координаты) таким образом, что первая главная компонента задаёт положение оси, вдоль которой проекция исходных данных будет характеризоваться наибольшей дисперсией, а вторая главная компонента определит положение оси, вдоль которой проекция исходных данных будет характеризоваться второй по величине дисперсией и т. д. Процедура включает в себя несколько шагов:

1. Расчёт матрицы дисперсий/ковариаций S по данным выборки:

$S_{kh}=\sum\limits_{i=1}^n[p_i (x_{ik} -\bar x_k )(x_{ih}-\bar x_h )]$.

Матрица S представляет собой симметричную квадратную матрицу размера $p × p$, которая содержит все дисперсии и ковариации между переменными (столбцами) таблицы $X$.

2. Вычисление собственных значений и собственных векторов ковариационной или корреляционной матрицы S, которые определяют направления главных компонент и величину связанной с ними дисперсии.

В методе главных компонент проводится различие между понятием активных и дополнительных элементов. Активными элементами являются наблюдения и переменные, используемые для построения факторных осей (т. е. исходной таблицы X). Дополнительные элементы – это наблюдения или переменные, которые добавляются апостериорно и в основном служат для иллюстрации и облегчения интерпретации факторных осей.

Дополнительные наблюдения – это новые векторы-строки $x_i^T$, которые не использовались для построения факторных осей. Дополнительные переменные – это новые векторы-столбцы $V_k^T$, не используемые при построении факторных осей. Для вычисления факторных координат дополнительных наблюдений используют ту же формулу (линейная комбинация, основанная на значениях соответствующих собственных векторов), что и для активных наблюдений.