Тео́рия групп Ли, раздел алгебры, изучающий группы Ли. Группой Ли называется группа, являющаяся одновременно гладким (аналитическим) вещественным или комплексным многообразием, алгебраические операции в которой выражаются в локальных координатах гладкими (аналитическими) функциями. Обычно термин «группа Ли» относят к вещественному случаю, а в комплексном случае говорят о комплексной группе Ли. Названы по имени С. Ли, который в своих работах 1876–1893 гг. заложил основы теории таких групп.

В работах Ли рассматривались группы локальных аналитических преобразований вещественного евклидова пространства $R^n$ (а также комплексного пространства $C^n$), зависящих от конечного числа параметров $a_1,..,a_r$, $$\widetilde{x}_{i}=f_{i}(x_{1}, \; ..., x_{n}, a_{1}, \; ..., a_{r}),\ \ \: i=1, \;..., n.$$Здесь $f_1,...,f_n$ – аналитические функции, и предполагается, что параметры $a_1,...,a_r$, соответствующие произведению двух преобразований, являются аналитическими функциями от параметров сомножителей. Чтобы подчеркнуть контраст с конечными группами подстановок, такие группы преобразований стали называть конечными непрерывными группами. При этом рассматривались и группы преобразований, зависящие от бесконечного числа параметров (в современной терминологии – бесконечномерные группы Ли). Термин «непрерывные группы» сохранялся за группами Ли до 1930-х гг., хотя термин «группы Ли» начал употребляться намного раньше. Д. Гильберт в докладе на 2-м Международном математическом конгрессе (Париж, 1900) поставил вопрос о том, будет ли любая локально евклидова топологическая группа группой Ли (5-я проблема Гильберта). Для групп преобразований это означает, что в определении групп Ли можно считать функции $f_i$ непрерывными и непрерывной заменой координат превратить их в гладкие (или аналитические). Эта проблема была положительно решена американскими учёными Э. Глисоном, Д. Монтгомери и Л. Циппином (1955) после того, как ряд глубоких частных результатов был получен Дж. фон Нейманом, Л. С. Понтрягиным и др.

Примерами групп Ли являются различные группы преобразований, используемые в геометрии, среди которых следующие:

1. $n$-мерное векторное пространство с операцией сложения векторов.

2. Окружность, рассматриваемая как группа поворотов плоскости на какой-либо угол с операцией сложения углов.

3. Группа матриц (или линейных преобразований векторного пространства) с операцией умножения матриц.

В отличие от первых двух, последний пример даёт некоммутативную группу Ли.

Теория групп Ли возникла в связи с изучением дифференциальных уравнений. С каждым дифференциальным уравнением связана группа Ли преобразований, оставляющих его неизменным. Например, однородные дифференциальные уравнения ${y}'=f(y/x)$ не изменяются при преобразованиях плоскости вида $\widetilde{y}=cy, \widetilde{x}=cx$. С. Ли нашёл алгебраическое условие на группу Ли уравнения, достаточное для того, чтобы оно разрешалось (интегрировалось) в квадратурах (отсюда возникло понятие разрешимой группы Ли). Ли исходил при этом из аналогичных понятий и результатов теории Галуа.

Ф. Клейном была предложена общая точка зрения (Эрлангенская программа), согласно которой геометрия есть наука, изучающая те свойства фигур, которые не меняются при заданной группе непрерывных преобразований. С этим связана важная роль теории групп Ли в геометрии. Основные примеры групп Ли являются группами преобразований различных геометрических структур, например группы преобразований, сохраняющих квадратичную форму (ортогональные преобразования), группы проективных, т. е. дробно-линейных, преобразований, группы движений римановых многообразий или группы их изометрий, группы всех автоморфизмов компактного комплексного многообразия (комплексная группа Ли) и др.

С. Ли разработал метод изучения непрерывных групп преобразований, основанный на сопоставлении каждой такой группе некоторого набора аналитических векторных полей (см. Векторное исчисление), которые он называл инфинитезимальными преобразованиями, а именно – полей

$$\delta _{j}=\sum_{i=1}^{n}\frac{\partial f_{i}}{\partial a_{j}}(x_{1},\: ...,\; x_{n},\: 0,\: ...,\: 0)\frac{\partial }{\partial x_{i}},\ \ \ \: j=1,\: ...,\: r.$$Они определены в окрестности точки $\text{0}$ пространства параметров $\textbf{R}^r$, которая соответствует тождественному преобразованию. Оказывается, что коммутаторы $[δ_i,d_j],\; i,j=1,...,r$, выражаются через $δ_1,...,δ_r$ в виде линейных комбинаций с постоянными коэффициентами, т. е. линейная оболочка $L$ полей $δ_1,...,d_r$ является конечномерным векторным пространством с дополнительной операцией коммутирования (см. Теория алгебр Ли). Алгебра $L$, названная С. Ли инфинитезимальной группой, в дальнейшем стала называться алгеброй Ли или касательной алгеброй данной группы Ли. Как было установлено С. Ли, алгебра $L$ полностью определяет группу локальных преобразований $f_1,...,f_n$.

В современной терминологии алгебра Ли $L(G)$ данной группы Ли $G$ представляет собой касательное пространство (на котором определена структура алгебры Ли) к группе в единичном элементе $e$. Она имеет ту же размерность, что и исходная группа Ли. Умножение (коммутирование) $[u,v]$ касательных векторов $u$ и $v$ определяется как касательный вектор $[u,v]$ при $t=0$ к кривой $$q(t)=\alpha (\sqrt{t})\beta (\sqrt{t})\alpha (\sqrt{t})^{-1}\beta (\sqrt{t})^{-1},$$ где α, β – такие гладкие кривые на $G$, что $a(0)=\beta(0)=e$, и их касательные векторы при $t=0$ суть векторы $u$ и $v$ соответственно. Например, группе $G=GL_{n}(\textbf{R})$ всех невырожденных вещественных матриц порядка $n$ отвечает алгебра Ли $L(G)=gl_{n}(\textbf{R})$ всех матриц порядка $n$ с операцией $\left [ X, Y \right ]=XY-YX$; группе $O(\textbf{R}^3)$ всех вращений евклидова пространства $\textbf{R}^3$ отвечает алгебра Ли $L(O(\textbf{R}^{3}))=\textbf{R}^{3}$, которая определяется в пространстве $\textbf{R}^3$ векторным умножением. В теории групп Ли группы Ли рассматриваются с точностью до аналитического изоморфизма, т. е. взаимно однозначного аналитического (в обе стороны) отображения одной группы в другую, сохраняющего умножение и единичный элемент. Две односвязные группы Ли аналитически изоморфны тогда и только тогда, когда изоморфны их алгебры Ли. Для всякой конечномерной алгебры Ли $L$ (над полем $\textbf R$ или $\textbf C$) существует группа Ли (соответственно, вещественная или комплексная), имеющая $L$ в качестве касательной алгебры.

Инфинитезимальный метод, разработанный С. Ли, позволил в дальнейшем получить глубокие результаты о строении и классификации связных групп Ли. По аналогии с теорией обычных групп определяются разрешимые группы Ли. Группа Ли является разрешимой, если её алгебра Ли разрешима. Каждая связная группа Ли $G$ содержит наибольшую связную разрешимую подгруппу Ли $\text{rad}\:G$. Группа $G$ называется полупростой, если $\text{rad}\: G=\left \{e \right \}$. Также можно ввести понятия полупростых и простых групп Ли [эти свойства для группы Ли $G$ равносильны, соответственно, полупростоте и простоте её алгебры Ли $L(G)$]. Каждая односвязная полупростая группа Ли разлагается в прямое произведение простых подгрупп Ли. На этом пути получена полная классификация связных полупростых групп Ли. В каждой размерности их имеется, с точностью до изоморфизма, лишь конечное число. Эти и другие результаты современной теории групп Ли были получены после работ С. Ли, в основном в 20 в. Они связаны с именами немецких математиков В. Киллинга, Г. Вейля и французских математиков Э. Картана, К. Шевалле.

Зародившаяся на стыке алгебры, геометрии и анализа, теория групп Ли сохраняет плодотворные связи с этими дисциплинами. С алгеброй она связана через теорию алгебр Ли и теорию алгебраических групп. Связь групп Ли с дифференциальными уравнениями, явившаяся для С. Ли одним из стимулов для изучения непрерывных групп, позволяет во многих случаях описывать семейство всех решений системы дифференциальных уравнений и строить некоторые конкретные решения. Существуют связи между теорией групп Ли и теорией оптимального управления. Важные приложения в математике и физике имеет теория линейных представлений групп Ли. Симметрии относительно различных классов групп Ли играют фундаментальную роль в современных теориях элементарных частиц, начиная с теории унитарной симметрии, классифицирующей элементарные частицы с точки зрения линейных представлений специальных унитарных групп $SU_2$ и $SU_3$ и приведшей к концепции кварков, и кончая современными калибровочными теориями, объединившими основные виды взаимодействий в единое целое.