Простра́нство Понтря́гина, гильбертово пространство с индефинитной метрикой $\Pi_\varkappa$, имеющей конечный ранг индефинитности $\varkappa$. Основные факты геометрии пространства Понтрягина установлены Л. С. Понтрягиным (Понтрягин. 1944). Помимо фактов, общих для пространств с индефинитной метрикой, имеют место следующие.

Если $\mathscr{P}$ – любой неотрицательный линеал в $\Pi_\varkappa$, то $\operatorname{dim} \mathscr{P} \leqslant \varkappa$; если $\mathscr{P}$ – положительный линеал и $\operatorname{dim} \mathscr{P}=\varkappa$, то его $J$-ортогональное дополнение $N$ является отрицательным линеалом и $\Pi_{\varkappa}=\mathscr{P} \oplus N$. При этом $N$ представляет собой полное пространство по отношению к норме $|x|=\sqrt{-J(x, x)}$. Если линеал $L \subset \Pi_{\varkappa}$ невырожден, то невырождено его $J$-ортогональное дополнение $M$ и $\Pi_{\varkappa}=M \oplus L$.

Спектр (в частности, дискретный спектр) $J$-унитарного ($J$-самосопряжённого) оператора симметричен относительно единичной окружности (действительной оси), все элементарные делители, отвечающие собственным числам $\lambda,|\lambda|>1$, имеют конечный порядок $\rho_{\lambda}, \rho_{\lambda} \leqslant \varkappa, \rho_{\lambda}=\rho_\lambda-1$. Сумма размерностей корневых подпространств $J$-унитарного ($J$-самосопряжённого) оператора, отвечающих собственным числам $\lambda,|\lambda|>1(\operatorname{Im} \lambda>0)$, не превосходит числа $\varkappa$.

Основой теории $J$-самосопряжённых операторов, действующих в пространстве Понтрягина $\Pi_{\varkappa}$, является следующая теорема (Понтрягин. 1944): у каждого $J$-самосопряжённого оператора $A(\overline{D(A)}= \Pi_\varkappa$) существует $\varkappa$-мерное (максимальное) неотрицательное инвариантное подпространство $\mathscr{T}$, в котором все собственные значения оператора $A$ имеют неотрицательную мнимую часть, и $\varkappa$-мерное неотрицательное инвариантное подпространство $\mathscr{T}^{\prime}$, в котором все собственные значения имеют неположительную мнимую часть. Аналогичное утверждение с заменой верхней (нижней) полуплоскости на внешность (внутренность) единичного круга справедливо и для $J$-унитарных операторов, а при некоторых дополнительных условиях – даже для операторов в пространстве $\Pi_{\infty}$.

Если $U$ есть $J$-унитарный oператор, то его максимальные инвариантные неотрицательные подпространства $\mathscr{T}$ могут быть выбраны таким образом, чтобы порядки элементарных делителей операторов $U_\mathscr{T}=U|\mathscr{T}$, $U_{\mathscr{T}^\prime}=U|\mathscr{T}^{\prime}$ были минимальны. Для того чтобы многочлен $P(\lambda)$, не имеющий корней внутри единичного круга, обладал свойством: $(P(U) x, P(U) x) \leqslant 0$, $x \in \Pi_{\varkappa}$, необходимо и достаточно, чтобы он делился на минимальный аннулирующий многочлен оператора $U_\mathscr{T}$. Если оператор $U$ – циклический, то его неотрицательные инвариантные подпространства размерности $\varkappa$ определяются единственным образом. В этом случае указанное свойство многочлена $P$, корни $\left\{\lambda_i\right\}$ которого лежат вне единичного круга $\left|\lambda_i\right|>1$, эквивалентно делимости $P(\lambda)$ на характеристический многочлен оператора$U_{\mathscr{T}}$.

В пространстве Понтрягина $\Pi_{\varkappa}$ у каждого вполне непрерывного $J$-самосопряжённого оператора $A$, такого, что нуль принадлежит его непрерывному спектру, остаточный спектр отсутствует. Корневые векторы такого оператора образуют базис Рисса в $\Pi_{\varkappa}$ по отношению к (дефинитной) норме $(|J| x, x)$.

Многие факты об инвариантных подпространствах и спектре обобщаются на случай $J$-изометрических и $J$-нерастягивающих операторов. Так, если $\lambda_1, \ldots, \lambda_n$ – произвольная совокупность собственных значений $J$ изометрического оператора, $\lambda_i \bar{\lambda}_k \neq 1$, $i, k=1, \ldots, n$, и порядок элементарного делителя в точке $\lambda_i$, то $\sum_1^n \rho_i \leqslant \varkappa$. Всякий $J$-нерастягивающий ограниченно обратимый оператор $T$ обладает $\varkappa$-мерным инвариантным неотрицательным подпространством $\mathscr{T}$ таким, что все собственные значения сужения $T \mid \mathscr{T}$ лежат в единичном круге (Иохвидов. 1956). Аналогичный факт верен для максимальных $J$-диссипативных операторов. Вообще $J$-диссипативный оператор $A, D(A) \subset D\left(A^*\right)$, имеет не более $\varkappa$ собственных значений в верхней полуплоскости. Между $J$-изометрическими и $J$-симметрическими (и, более широко, $J$-нерастягивающими и $J$-диссипативными) операторами устанавливается связь с помощью преобразования Кэли, которое в пространстве $\Pi_{\varkappa}$ обладает всеми естественными свойствами (Иохвидов. 1956). Это позволяет развивать теорию расширений одновременно для $J$-изометрических и $J$-симметрических операторов. В частности, всякий $J$-изометрический ($J$-симметрический) оператор может быть расширен до максимального. Если его индексы дефекта не одинаковы, то у него нет $J$-унитарных ($J$-самосопряжённых) расширений. Если же они одинаковы и конечны, то любое максимальное расширение является $J$-унитарным ($J$-самосопряжённым).

Для вполне непрерывных $J$-диссипативных операторов в пространстве Понтрягина $\Pi_{\varkappa}$ верен также ряд утверждений о полноте системы корневых векторов, аналогичных соответствующим фактам из теории диссипативных операторов в пространствах с дефинитной метрикой.