Ме́тод орби́т, метод изучения унитарных представлений групп Ли. С помощью метода орбит была построена теория унитарных представлений нильпотентных групп Ли, а также указана возможность его применения к другим группам (Кириллов. 1962).

Метод орбит основан на следующем «экспериментальном» факте: существует глубокая связь между унитарными неприводимыми представлениями группы Ли $G$ и орбитами этой группы в коприсоединённом представлении. Решение основных задач теории представлений с помощью метода орбит осуществляется следующим образом (Kirillov. 1980).

Конструкция и классификация неприводимых унитарных представлений

Пусть $\Omega$ – орбита действительной группы Ли $G$ в коприсоединённом представлении, $F$ – точка этой орбиты (являющаяся линейным функционалом на алгебре Ли $\mathfrak{g}$ группы $G$), $G(F)$ – стабилизатор точки $F$, $\mathfrak{g}(F)$ – алгебра Ли группы $G(F)$. Поляризацией точки $F$ называется комплексная подалгебра $\mathfrak{h}$ в $\mathfrak{g}_{\mathbb{C}}$, где $\mathfrak{g}_{\mathbb{C}}$ – комплексификация алгебры Ли $\mathfrak{g}$, обладающая свойствами:

1) $\operatorname{dim}_{\mathbb{C}}^{\mathfrak{h}} =\operatorname{dim} g-\frac{1}{2} \operatorname{dim} \Omega$;

2) $[\mathfrak{h}, \mathfrak{h}]$ содержится в ядре функционала $F$ на $g$;

3) $\mathfrak{h}$ инвариантна относительно $\operatorname{Ad} G(F)$.

Пусть $H^{0}=\exp (\mathfrak{h} \cap \mathfrak{g})$ и $H=G(F) \cdot H^{0}$. Поляризация $\mathfrak{h}$ называется действительной, если $\mathfrak{h}=\overline{\mathfrak{h}}$, и чисто комплексной, если $\mathfrak{h} \cap \overline{\mathfrak{h}}=g(F)$. Функционал $F$ определяет характер (одномерное унитарное представление) $\chi_{F}^{0}$ группы $H^{0}$ по формуле$$\exp X \longrightarrow \exp 2 \pi i\langle F, X\rangle.$$Пусть $\chi_{F}^{0}$ продолжается до характера $\chi_{F}$ группы $H$. Если $h$ – действительная поляризация, то пусть $T_{F, \mathfrak{h}, \chi_{F}}$ – индуцированное характером $\chi_{F}$ подгруппы $H$ представление группы $G$. Если $\mathfrak{h}$ – чисто комплексная поляризация, то пусть $T_{F, \mathfrak{h}, \chi_{F}}$ – голоморфно индуцированное представление, действующее в пространстве голоморфных функций на $G / H$.

Первая основная гипотеза состоит в том, что представление $T_{F, \mathfrak{h}, \chi_{F}}$ неприводимо и его класс эквивалентности зависит только от орбиты $\Omega$ и от выбора продолжения $\chi_{F}$ характера $\chi_{F}^{0}$. Эта гипотеза доказана для нильпотентных групп (Кириллов. 1962) и для разрешимых групп Ли (Auslander. 1971). Для некоторых орбит простой особой группы $G_{2}$ гипотеза неверна (Rothschild. 1974). Возможность продолжения и степень его неоднозначности зависят от топологических свойств орбиты: препятствием к продолжению служат двумерные когомологии орбиты, а в качестве параметра, нумерующего различные продолжения, можно взять одномерные когомологии орбиты. Более точно, пусть $B_{\Omega}$ – каноническая 2-форма на орбите $\Omega$. Для существования продолжения необходимо и достаточно, чтобы форма $B_{\Omega}$ принадлежала целочисленному классу (т. е. интеграл её по любому двумерному циклу был целым числом); если это условие выполнено, то множество продолжений параметризуется характерами фундаментальной группы орбиты.

Вторая основная гипотеза состоит в том, что указанным способом получаются все унитарные неприводимые представления рассматриваемой группы $G$. Единственным (на 1983) противоречащим этой гипотезе примером являются т. н. дополнительные серии представлений полупростых групп Ли.

Функториальные свойства соответствия между орбитами и представлениями

Значительное место в теории представлений занимают вопросы о разложении на неприводимые компоненты представления, получаемого ограничением на подгруппу $H$ неприводимого представления группы $G$ и индуцированием с помощью неприводимого представления подгруппы $H \subset G$. Метод орбит даёт ответ на эти вопросы в терминах естественной проекции $p: \mathfrak{g}^{*} \rightarrow \mathfrak{h}^{*}$ ($*$ означает переход к сопряжённому пространству, проекция $p$ состоит в ограничении функционала с $\mathfrak{g}$ на $\mathfrak{h}$). A именно: пусть $G$ – экспоненциальная группа Ли (для таких групп соответствие между орбитами и представлениями взаимно однозначно).

Tогда неприводимое представление группы $G$, соответствующее орбите $\Omega \subset \mathfrak{g}^{*}$, при ограничении на $H$ разлагается на неприводимые компоненты, соответствующие тем орбитам $\omega \in \mathfrak{h}^{*}$, которые лежат в $p(\Omega)$, а представление группы $G$, индуцированное неприводимым представлением группы $H$, соответствующим орбите $\omega \subset \mathfrak{h}^{*}$, разлагается на неприводимые компоненты, соответствующие тем орбитам $\Omega \subset \mathfrak{g}^{*}$, которые имеют непустое пересечение с прообразом $p^{-1}(\omega)$. Из этих результатов вытекают два следствия: если неприводимые представления $T_{i}$ соответствуют орбитам $\Omega_{i}$, $i=1,2$, то тензорное произведение $T_{1} \otimes T_{2}$ разлагается на неприводимые компоненты, соответствующие тем орбитам $\Omega$, которые лежат в арифметической сумме $\Omega_{1}+\Omega_{2}$; квазирегулярное представление группы $G$ в пространстве функций на $G / H$ разлагается на неприводимые компоненты, соответствующие тем орбитам $\Omega \subset \mathfrak{g}^{*}$, для которых образ $p(\Omega) \subset \mathfrak{h}^{*}$ содержит нуль.

Теория характеров

Для характеров неприводимых представлений (как обобщённых функций на группе) предложена (Kirillov. 1980) следующая универсальная формула:

$$\chi(\exp X)=\frac{1}{p(X)} \int_{\Omega} e^{2 \pi i\langle F, X\rangle} \beta(F), \tag{*}$$где $\exp: \mathfrak{g} \rightarrow G$ – экспоненциальное отображение алгебры Ли $\mathfrak{g}$ в группу $G$, $p(X)$ – квадратный корень из плотности инвариантной меры Хаара на $G$ в канонических координатах, $\beta$ – форма объёма на орбите $\Omega$, связанная с канонической 2-формой $B_{\Omega}$ соотношением

$$\beta=\frac{B_{\Omega}^{k}}{k !}, k=\frac{1}{2} \operatorname{dim} \Omega.$$Эта формула справедлива для нильпотентных групп, разрешимых групп типа 1, компактных групп, дискретной серии представлений полупростых действительных групп и основной серии представлений комплексных полупростых групп. Для некоторых вырожденных серий представлений $\operatorname{SL} (3, \mathbb{R})$ формула неверна. Из формулы (*) получается простая формула для вычисления инфинитезимального характера неприводимого представления $T_{\Omega}$, соответствующего орбите $\Omega$, а именно: каждому оператору Лапласа $\Delta$ на $G$ может быть сопоставлен $\operatorname{Ad}^{*}G$-инвариантный многочлен $P_{\Delta}$ на $\mathfrak{g}^{*}$ так, что значение инфинитезимального характера $T_{\Omega}$ на элементе $\Delta$ в точности равно значению $P_{\Delta}$ на $\Omega$.

Конструкция неприводимого унитарного представления группы

Конструкцию неприводимого унитарного представления группы $G$ по её орбите $\Omega$ в коприсоединённом представлении можно рассматривать как операцию квантования некоторой гамильтоновой системы, для которой $\Omega$ играет роль фазового пространства, а $G$ – роль многомерного некоммутативного времени (или группы симметрий). При этом $G$-орбиты в коприсоединённом представлении – это все $G$-однородные симплектические многообразия, допускающие квантование. Таким образом, вторую основную гипотезу можно переформулировать так: каждая элементарная квантовая система с временем (или группой симметрий) $G$ получается квантованием из соответствующей классической системы (Kirillov. 1980).

Обнаружена также связь метода орбит с теорией вполне интегрируемых гамильтоновых систем (Reyman. 1979).