Дискримина́нтный ана́лиз, раздел математической статистики, содержанием которого является разработка и исследование статистических методов решения следующей задачи различения (дискриминации): основываясь на результатах наблюдений, определить, какой из нескольких возможных совокупностей принадлежит объект, случайно извлечённый из одной из них. На практике задача различения возникает, например, в тех случаях, когда наблюдение признака, полностью определяющего принадлежность объекта к той или иной совокупности, невозможно или требует чрезмерных затрат средств или времени; в случаях, когда информация о таком признаке утеряна и её нужно восстановить, а также когда речь идёт о предсказании будущих событий на основе имеющихся данных. Ситуации первого типа встречаются в медицинской практике, например, при установлении диагноза по комплексу неспецифических проявлений заболевания. Пример ситуации второго типа – определение пола давно умершего человека по останкам, найденным при археологических раскопках. Ситуация третьего типа возникает, например, при статистическом прогнозе отдалённых результатов лечения. Методом дискриминантного анализа является многомерный статистический анализ, служащий для количественного выражения и обработки имеющейся информации в соответствии с выбранным критерием оптимальности решения.

В общем виде задача различения ставится следующим образом. Пусть результатом наблюдения над случайным объектом является реализация $p$-мерного случайного вектора $x^{\prime}=\left(x_1, \ldots, x_p\right)$ (штрих означает транспонирование) значений $p$ признаков объекта. Требуется установить правило, согласно которому по значению вектора $x$ объект относят к одной из возможных совокупностей $\pi_i$, $i=1, \ldots, k$. Построение правила дискриминации состоит в том, что всё выборочное пространство $R$ значений вектора $x$ разбивается на области $R_i$, $i=1, \ldots, k$, так что при попадании $x$ в $R_i$ объект относят к совокупности $\pi_i$. Выбор правила дискриминации среди всех возможных производится в соответствии с установленным принципом оптимальности на основе априорной информации о совокупностях $\pi_i$ и вероятностях $q_i$ извлечения объекта из $\pi_i$. При этом учитывается размер убытка от неправильной дискриминации. Априорная информация о совокупностях $\pi_i$ может состоять в том, что известны функции распределения вектора признаков объекта в каждой из этих совокупностей, она может быть представлена также и в виде выборок из каждой из этих совокупностей, при этом априорные вероятности $q_i$ совокупностей могут быть либо известны, либо нет. Очевидно, чем полнее исходная информация, тем точнее могут быть рекомендации.

Пусть рассматривается случай двух совокупностей $\pi_1$ и $\pi_2$ в ситуации, когда имеется полная исходная информация: известны функции распределения вектора признаков в каждой из совокупностей и априорные вероятности (бейесовский подход). Пусть $P_1(x)$ и $P_2(x)$ – функции распределения вектора признаков соответственно в $\pi_1$ и $\pi_2$, $p_1(x)$ и $p_2(x)$ – плотности распределения, а $C(i \mid j)$, $i, j=1,2$, – убыток вследствие отнесения объекта из $j$-й совокупности к $i$-й. Тогда вероятности неправильной дискриминации объектов из $\pi_1$ и $\pi_2$ соответственно равны:

$$P(2 \mid 1 ; R)=\int_{R_2} p_1(x)\, d x, \quad P(1 \mid 2 ; R)=\int_{R_1} p_2(x)\, d x$$[символом $P(i \mid j ; R)$ обозначена вероятность приписывания объекта из $\pi_j$ к совокупности $\pi_i$ при использовании правила $R$], а математическое ожидание потерь, связанных с неверной дискриминацией, равно

$$C(2 \mid 1) P(2 \mid 1 ; R) q_1+C(1 \mid 2) P(1 \mid 2 ; R) q_2.$$Естественным в рассматриваемой ситуации принципом оптимальности является принцип минимизации этой величины, который приводит в этом случае к следующему разбиению пространства выборок (Андерсон. 1963):

$$\left.\begin{aligned} &R_1: \frac{p_1(x)}{p_2(x)} \geqslant \frac{C(1 \mid 2) q_2}{C(2 \mid 1) q_1}, \\ &R_2: \frac{p_1(x)}{p_2(x)}<\frac{C(1 \mid 2) q_2}{C(2 \mid 1) q_1}. \end{aligned}\right\} \tag{1}$$Если выполнены условия

$$\mathrm{P}\left\{\frac{p_1(x)}{p_2(x)}=\frac{C(1 \mid 2) q_2}{C(2 \mid 1) q_1}\, \Big|\, \pi_i\right\}=0, \quad i=1,2,$$то такое разбиение единственно с точностью до множества нулевой вероятности. К аналогичному правилу различения в рассмотренном случае можно прийти и другими путями, например с помощью леммы Неймана – Пирсона из теории проверки статистических гипотез.

При выбранном критерии оптимальности о качестве правила различения судят по величине математического ожидания потерь, и из двух правил лучшим считается то, которое приводит к меньшему значению этой величины.

Если в задаче различения априорные вероятности $q_i$ неизвестны, то естественно искать решение в классе допустимых правил, выбирая среди них правило, минимизирующее максимум по всем $q_i$ математического ожидания потерь (такое правило называется минимаксным). Математические ожидания потерь при условии, что наблюдения производились соответственно над объектами из $\pi_1$ или $\pi_2$, равны

$$C(2 \mid 1) P(2 \mid 1 ; R)=r(1, R),\quad C(1 \mid 2) P(1 \mid 2 ; R)=r(2, R).$$Справедливо утверждение (Андерсон. 1963): если выполнены условия

$$\mathrm{P}\left\{\frac{p_1(x)}{p_2(x)}=k \, \Big|\, \pi_i\right\}=0, \quad i=1,2, \quad 0 \leqslant k \leqslant \infty,$$то класс бейесовских методов является минимальным полным классом. Минимаксное правило $R^*$ из этого класса получается при значении $q_1$, для которого выполнено условие $P(2 \mid 1 ; R^*)=P(1 \mid 2 ; R^*)$. В важном случае, когда $P_1$ и $P_2$ – многомерные нормальные распределения с векторами средних $\mu^{(1)}$ и $\mu^{(2)}$ и общей ковариационной матрицей $\Sigma$, правило дискриминации (1) принимает вид:

$$\left.\begin{aligned} &R_1: x^{\prime} \Sigma^{-1}\left(\mu^{(1)}-\mu^{(2)}\right)- \\ &-\frac{1}{2}\left(\mu^{(1)}+\mu^{(2)}\right)^{\prime} \Sigma^{-1}\left(\mu^{(1)}-\mu^{(2)}\right) \geqslant \ln k, \\ &R_2: x^{\prime} \Sigma^{-1}\left(\mu^{(1)}-\mu^{(2)}\right)- \\ &-\frac{1}{2}\left(\mu^{(1)}+\mu^{(2)}\right)^{\prime} \Sigma^{-1}\left(\mu^{(1)}-\mu^{(2)}\right)<\ln k, \end{aligned}\right\} \tag{2}$$где $k=\frac{q_2 C(1 \mid 2)}{q_1 C(2 \mid 1)}$. Если $C(1 \mid 2)=C(2 \mid 1)$ и $q_2=q_1$, то $\ln k=0$ и

$$\begin{gathered} R_1: D(x)=x^{\prime} \Sigma^{-1}\left(\mu^{(1)}-\mu^{(2)}\right) \geqslant\\ \geqslant \frac{1}{2}\left(\mu^{(1)}+\mu^{(2)}\right)^{\prime} \Sigma^{-1}\left(\mu^{(1)}-\mu^{(2)}\right). \end{gathered} \tag{3}$$Если априорные вероятности неизвестны, то можно выбрать $\ln k=c$, например, из условия минимальности ошибки неверной дискриминации или из условия обращения в нуль математического ожидания потерь от неверной дискриминации. Вообще говоря, выбор критерия оптимальности, как правило, определяется характером самой задачи. Выражение в левой части (3) называется дискриминантной функцией данной задачи; её можно толковать как поверхность в выборочном пространстве, разделяющую совокупности $\pi_1$ и $\pi_2$. В приведённом примере дискриминантная функция линейна, т. е. такая поверхность есть гиперплоскость. Если в приведённом примере матрицы ковариации неодинаковы, то дискриминантная функция будет квадратичной функцией от $x$. В целях упрощения вычислений найден минимальный полный класс линейных процедур различения для этого случая (Anderson. 1962).

С точки зрения применений дискриминантного анализа наиболее важной является ситуация, когда исходная информация о распределениях представлена выборками из них. В этом случае задача дискриминации ставится следующим образом. Пусть $x_1^{(i)}, x_2^{(i)}, \ldots, x_{n_i}^{(i)}$ – выборка из совокупности $\pi_i$, $i=1, \ldots, k$; $x_{j}^{(i)}=(x_{j_1}^{(i)}, \ldots, x_{j_p}^{(t)})$ – вектор признаков $j$-го объекта выборки из $i$-й совокупности, и произведено дополнительное наблюдение $x^{\prime}=(x_1, \ldots,x_p)$ над объектом, принадлежащим одной из совокупностей $\pi_i$. Требуется построить правило приписывания наблюдения $x$ к одной из этих совокупностей. Первый подход к решению этой задачи в случае двух совокупностей принадлежит Р. А. Фишеру – основоположнику дискриминантного анализа (Fisher. 1936). Используя в задаче различения вместо вектора признаков, характеризующих объект, их линейную комбинацию – гиперплоскость, в некотором смысле наилучшим образом разделяющую совокупность выборочных точек, – он пришёл к дискриминантной функции (3).

Наиболее изученным является случай, когда известно, что распределения векторов признаков в каждой совокупности нормальны, но нет информации о параметрах этих распределений. Здесь самым естественным является подход, состоящий в замене неизвестных параметров распределений в дискриминантной функции (3) их наилучшими оценками (Wald. 1944; John. 1960). Как и в случае известных распределений, правило дискриминации можно основывать на отношении правдоподобия (Welch. 1939; Gupta. 1965).

Подавляющая часть результатов дискриминантного анализа получена в предположении нормальности распределений. Изучаются вопросы применимости оптимальных в нормальном случае методов в ситуациях, где предположение о нормальности носит лишь приближённый характер (Bunke. 1967). В этих работах задачи дискриминантного анализа рассматриваются в рамках общей теории решающих функций и изучаются свойства правил дискриминации по отношению к т. н. принципу $Q$-оптимальности, естественным образом охватывающему как бейесовский, так и минимаксный подход. Именно, пусть $R(\xi, \delta)$ – вероятность ошибки при применении правила дискриминации $\delta$, когда вектор априорных вероятностей есть $\xi$. Пусть известно, что $\xi \in Q$, где $Q$ – некоторое множество в пространстве векторов $\xi$. Правило $\delta^*$ называется $Q$-оптимальным, если

$$\sup _{\xi \in Q} R(\xi, \delta^*)=\inf _{\delta \in D} \sup _{\xi \in Q} R(\xi, \delta)=R_Q, \tag{4}$$где $D$ – множество всех возможных правил дискриминации. Пусть известен функциональный вид $P_i(x, \lambda_i)$, зависящих от параметра распределений вектора признаков в каждой из совокупностей, $i=1,2$, но параметр $\lambda$ неизвестен и оценивается по выборке. Тогда если $P_i(x, \lambda_i)$ таковы, что существует $Q$-оптимальное правило $\delta^*(\lambda_1, \lambda_2)$ дискриминации для распределений $P_i(x, \lambda_i)$, $i=1,2$, когда значение параметра $\lambda=(\lambda_1, \lambda_2)$ известно, и $\left\{\lambda_i^{\left(n_i\right)}\right\}$ – сильно состоятельная оценка параметра $\lambda_i$ по выборке объёма $n_i$, то при некоторых дополнительных условиях последовательность правил $\left\{\delta^*\left(\lambda_1^{\left(n_1\right)}, \lambda_2^{\left(n_2\right)}\right)\right\}$ при $n_1, n_2 \rightarrow \infty$ является асимптотически $Q$-оптимальной, т. е. с вероятностью 1:

$$\lim _{n_1, n_2 \rightarrow \infty} \sup _{\xi \in Q} R\left(\xi, \delta^*\left(\lambda_1^{\left(n_1\right)}, \lambda_2^{\left(n_2\right)}\right)\right)=R_Q, \tag{5}$$где риск $R$ в левой части (5) может быть вычислен как при истинном значении параметров, так и при замене истинных значений их оценками $\lambda_i^{(n_i)}$. Если потребовать лишь состоятельности оценки, то имеет место несколько более слабое утверждение.

Непараметрические методы дискриминации, не требующие знаний о точном функциональном виде распределений и позволяющие решать задачи дискриминации на основе малой априорной информации о совокупностях, являются особо ценными для практических применений (Kendall. 1966; Ryzin. 1966).

В задачах дискриминантного анализа приходится иметь дело со случайными наблюдениями как над количественными, так и над качественными признаками (возможен и смешанный случай). Между этими случаями нет принципиальной разницы. Если признаки качественные, то вводится понятие многомерного состояния объекта и рассматривается распределение по нему. От природы наблюдений зависит способ оценки функции распределений вектора признаков. В соответствующих ситуациях снова применимы бейесовский и минимаксный подходы и можно строить процедуру различения, основываясь на отношении правдоподобия. Иногда целесообразно переходить от количественных величин к качественным путём разбиения функции частот и, наоборот, от качественных к количественным, вводя фиктивные переменные, преобразующие качественную информацию в количественную. При этом, разумеется, нужно исследовать вопрос о том, не происходит ли существенного ухудшения качества правила.

Выше рассматривались задачи дискриминантного анализа при фиксированной размерности пространства значений вектора признаков. Однако практические ситуации чаще всего таковы, что выбор размерности осуществляется исследователем. На первый взгляд кажется, что добавление каждого нового признака в дискриминантной функции по крайней мере не ухудшит её качества. Однако многие факторы могут при этом вести к потере эффективности различения (достаточно вспомнить, что вместо истинных значений параметров распределений часто используются их оценки). К тому же увеличение числа признаков ведёт к быстрому возрастанию трудностей счёта. Имеется много рекомендаций для выбора признаков, диктуемых часто здравым смыслом. Теоретически наиболее обоснованным методом выбора признаков является метод, основанный на вычислении расстояния Махаланобиса между двумя распределениями (Kudô. 1963). Особый интерес представляют последовательные методы выбора признаков.

Долгое время задачи отнесения объекта к одной из нескольких возможных совокупностей носили общее название задач классификации. Здесь приведена терминология Кендалла (Kendall. 1966), разделившего все задачи, связанные с выбором одной из нескольких равноправных возможностей на три класса. Он назвал задачи рассматриваемого здесь вида задачами различения (дискриминации), оставив термин «классификация» для задач разбиения данной выборки или всей совокупности на группы, по возможности однородные. Если в задачах различения существование групп оговорено в условиях, то здесь это предмет исследования. Выше были рассмотрены задачи различения, когда исследуемый объект есть результат случайного выбора из некоторого конечномерного распределения. Возможна более общая ситуация, когда исследуемый объект представляет собой реализацию некоторого случайного процесса с непрерывным временем.

Дискриминантный анализ тесно связан также с теорией распознавания образов.