Ги́льбертово простра́нство с индефини́тной ме́трикой, гильбертово пространство $E$ над полем комплексных чисел, снабжённое непрерывной билинейной (точнее, полуторалинейной) формой $G$, которая, вообще говоря, не является положительно определённой. Форму $G$ часто называют $G$-метрикой. Наиболее важным частным случаем гильбертова пространства с индефинитной метрикой является т. н. $J$-пространство: гильбертово пространство с индефинитной метрикой, в котором форма $G$ определяется некоторой эрмитовой инволюцией $J$ в $E$ по формуле $G(x, y)=(J x, y)$. В этом случае форма $G$ обозначается также буквой $J$ и называется $J$-метрикой. Инволюция $J$ допускает представление в виде $J=P_{+}-P_{-}$, где $P_{+}, P_{-}$ – ортогональные проекторы в $E$, и $P_{+}+P_{-}=I$; число $\varkappa=\min \left(\operatorname{dim} P_{+}, \operatorname{dim} P_{-}\right)$ называется рангом индефинитности $J$-метрики или $J$-пространства. Если $\varkappa<+\infty$, то гильбертово пространство с индефинитной метрикой $(E, J)$ называется пространством Понтрягина $\Pi_\varkappa$; см. также Пространство с индефинитной метрикой.

Два гильбертова пространства с индефинитной метрикой $(E, G)$ и $\left(E_1, G_1\right)$ называются метрически эквивалентными, если существует линейный гомеоморфизм $U$ гильбертова пространства $E$ на пространство $E_1$, переводящий форму $G$ в форму $G_1$. $G$-метрика, порождаемая обратимым эрмитовым оператором $G$ по формуле $G(x, y)=(G x, y)$, называется регулярной; после введения нового скалярного произведения, метрически эквивалентного старому, регулярная $G$-метрика становится $J$-метрикой. Каждое гильбертово пространство с индефинитной метрикой с эрмитовой формой $G$ может быть $G$-изометрически (т. е. с сохранением формы $G$ ) погружено в некоторое $J$-пространство (Гинзбург. 1962; Азизов.1971).

Главные направления в теории гильбертова пространства с индефинитной метрикой – те же, что и в общих пространствах с индефинитной метрикой, но со значительным уклоном в спектральную теорию. Геометрия гильбертова пространства с индефинитной метрикой существенно богаче, чем у общих пространств с индефинитной метрикой. Так, в случае $J$-пространств имеется аффективное описание максимальных подпространств $L$ среди всех неотрицательных (неположительных, нейтральных): это те $L$, для которых $P_{+} L=P_{+} E$ (соответственно $P_{-} L=P_{-} E$; выполнено хотя бы одно из этих равенств). Отсюда – аналог закона инерции квадратичных форм: если $E=L_{+}+L_{-}$ – каноническое разложение $J$-пространства в сумму семидефинитных подпространств, то $\operatorname{dim} L_{ \pm}=\operatorname{dim} P_{ \pm} E$. Подпространство $L$ является максимальным неотрицательным тогда и только тогда, когда $L$ имеет угловой оператор $K$ относительно $E_{+}$, т. е. $L=\left\{x+K x: x \in E_{+}\right\}$, и $\|K\| \leqslant 1$.

В $J$-пространствах развита теория базисов, которая помогает изучать геометрию гильбертова пространства с индефинитной метрикой, а также операторы в них $J$-ортонормированный базис $J$-пространства $(E, J)$ есть базис в гильбертовом пространстве $E$, удовлетворяющий условиям $( Je_k, \left.e_n\right)= \pm \delta_{k n}$; $\kappa$, $n=1,2, \ldots$ Для того чтобы $J$-ортонормированная последовательность $\mathscr{E}$ была базисом Рисса пространства $E$, необходимо и достаточно, чтобы $E=M_{+}+M_{-}$, где $M_{ \pm}$ – замкнутая линейная оболочка векторов $\left\{e_k:\left(J e_k, e_k\right)= \pm 1\right\}$. Если $\mathscr{E}$ – $J$-ортонормированный базис в $E$, то разложение $E=M_{+}+M_{-}$есть каноническое разложение $J$-пространства $E$. Большую группу геометрических задач в гильбертовом пространстве с индефинитной метрикой, возникающих в теории операторов в этих пространствах, составляют вопросы, связанные со структурой и свойствами т. н. дуальных пар подпространств гильбертовых пространств с индефинитной метрикой $(E, J)$, т. е. таких пар $N$, $P$ подпространств в $E$, что $N$ и $P$ взаимно $J$-ортогональны, причём $N$ – неположительное, а $P$ – неотрицательное подпространства. Дуальная пара называется максимальной, если $N$ и $P$ – максимальные семидефинитные подпространства.

Теория операторов в гильбертовом пространстве с индефинитной метрикой. Метрика $G$ считается эрмитовой и невырожденной, а встречающиеся операторы – плотно заданными. Пусть для оператора $T$ c областью определения $D_T$ определён $G$-сопряжённый оператор $T^c$ равенством$$G(T x, y)=G\left(x, T{ }^c y\right), \quad x \in D_T, \quad y \in D_{T^{c}}.$$При этом $T^c=G^{-1} T^* G$ и$$D_{T^c}=G^{-1}\left\{G E \cap T^{*-1}(T E \cap G E)\right\}.$$Оператор $T$ называется $G$-самосопряжённым, если $T=T c$, и $G$-симметричным, если $G(T x, y)=G(x, T y)$; $x$, $y \in D_T$. Корневые подпространства (линеалы) $L_\lambda(T)$ и $L_\mu(T)$, $\lambda \neq \bar{\mu}$, $G$-симметричного оператора $T$ $G$-ортогональны; в частности, если $\lambda \neq \bar{\lambda}$, то $L_\lambda(T)$ – нейтральное подпространство (линеал).

Если $G$ – регулярная метрика, то спектр $\sigma(T)$ $G$-самосопряжённого оператора $T$ симметричен относительно действительной оси; если – не регулярная, то это, вообще говоря, не так. $J$-самосопряжённость оператора $T$ равносильна самосопряжённости $JT$. Если $\zeta$, $\bar{\zeta} \in \sigma(T)$, то преобразование Кэли $U=(T-\bar{\zeta I}) \times(T-\zeta I)^{-1}$ есть $J$-унитаpный оператор, т. е. такой, что $U J U^*=U^* J U=J$. Спектр $U$ симметричен относительно окружности $S=\{\lambda \in \mathbb{C}:|\lambda|=1\}$.

Начиная с работы Л. С. Понтрягина (Понтрягин. 1944), основным вопросом теории является вопрос о существовании семидефинитных инвариантных подпространств. Пусть $T$ – ограниченный оператор в $J$-пространстве $E$ и $(J T x, T x) \geqslant 0$ при $(J x, x) \geqslant 0$, $x \in E$ (т. н. плюс–оператор); если $P_{+} T P_{-}$ – вполне непрерывный оператор, то существует максимальное неотрицательное $T$-инвариантное подпространство $L$. Этот результат приложим, в частности, к $J$-унитарным операторам $U$ в пространствах $\Pi_\varkappa$, где он служит основой т. н. метода дефинизации – построения операторного полинома $p(U)$, переводящего $E$ в семидефинитное подпространство. Этот приём позволяет получать, например, аналоги обычного спектрального разложения для $J$-унитарных и $J$-самосопряжённых операторов в пространствах $\Pi_\varkappa$.

Теория операторов в гильбертовом пространстве с индефинитной метрикой существенно используется в теории канонических систем обыкновенных дифференциальных уравнений; например, критерий устойчивости для таких уравнений следующим образом записывается в терминах оператора монодромии $U$: для этого необходимо и достаточно, чтобы существовала максимальная $U$-инвариантная дуальная пара подпространств. Другой основной потребитель описанной теории – спектральная теория квадратичных операторных пучков, важная во многих задачах математической физики.