Несамосопряжённый опера́тор, линейный оператор в гильбертовом пространстве, спектральный анализ которого не укладывается в рамки теории самосопряжённых операторов и её простейших обобщений: теории унитарных операторов и теории нормальных операторов. Несамосопряжённые операторы возникают при рассмотрении процессов, протекающих без сохранения энергии: в задачах с трением, в теории открытых резонаторов, в задачах неупругого рассеяния и др. К исследованию несамосопряжённого оператора приводят и некоторые самосопряжённые задачи, в которых при разделении переменных возникает операторнозначная функция $\mathscr{L}(\lambda)$, нелинейно зависящая от спектрального параметра $\lambda$. Многие из предложений, относящиеся к теории несамосопряжённых операторов, справедливы и для операторов, действующих в произвольных банаховых пространствах, $F$-пространствах, топологических векторных пространствах и т. д.

Наиболее распространённым методом изучения несамосопряжённых операторов является метод оценки резольвенты, использующий теорию аналитических функций, теорию асимптотических разложений и др.

Первыми работами, относящимися к теории несамосопряжённых операторов, были работы Г. Биркгофа, Я. Д. Тамаркина, В. А. Стеклова и других по исследованию задач для обыкновенных дифференциальных уравнений. Эти учёные применяли метод Коши контурного интегрирования резольвенты.

Для дифференциальных несамосопряжённых операторов с частными производными долгое время отсутствовали эффективные методы изучения. Объясняется это сложным строением резольвенты оператора как аналитической функции.

В развитии общей теории несамосопряжённых операторов (и в частности oпeраторов с частными производными) большую роль сыграла работа М. В. Келдыша (Келдыш. О собственных значениях ... 1951, см. также Келдыш. 1971). В ней изучено уравнение

$$y=\mathscr{L}(\lambda) y, \tag{1}$$где $y$ – элемент некоторого гильбертова пространства $H$, а оператор $\mathscr{L}(\lambda)$ допускает представление

$$\mathscr{L}(\lambda)=B_0+\lambda H_0 B_1+\ldots+\lambda^{n-1} H_0^{n-1} B_{n-1}+\lambda^n H_0^n .$$Здесь $H_0$ – вполне непрерывный обратимый самосопряжённый оператор конечного порядка, $B_j$, $0 \leqslant j \leqslant n-1$, – произвольные вполне непрерывные операторы. [Вполне непрерывный оператор $A$, действующий в гильбертовом пространстве, называется оператором конечного порядка, если $\sum s_k^\rho(A)<\infty$ при некотором $0<\rho<\infty$; через $s_k(A)$ обозначены сингулярные числа $A$, т. е. собственные значения оператора $\left(A A^*\right)^{1 / 2}$.] Собственные значения уравнения (1) – те значения $\lambda$, при которых это уравнение имеет нетривиальные решения $y$; эти решения называются собственными векторами.

При сделанных выше предположениях спектр уравнения (1) дискретен. Вследствие несамосопряжённости оператора $\mathscr{L}(\lambda)$, наряду с собственными векторами, естественно, возникают (при наличии кратного спектра) присоединённые векторы. В работе (Келдыш. О собственных значениях ... 1951) строится цепочка присоединённых векторов $y_1, y_2, \ldots, y_k$, отвечающих собственному значению $\lambda$ и собственному вектору $y$ по правилу

$$\begin{gathered} y_\nu=\mathscr{L}(\lambda) y_\nu+\frac{1}{1 !} \frac{\partial \mathscr{L}(\lambda)}{\partial \lambda} y_{\nu-1}+\ldots+\frac{1}{\nu!} \frac{\partial^\nu \mathscr{L}(\lambda)}{\partial \lambda^\nu} y, \\ v=1,2, \ldots, k. \end{gathered} \tag{2}$$Система собственных и присоединённых векторов оператора $\mathscr{L}(\lambda)$ называется $n$-кратно полной, если любые $n$ векторов $\varphi_0, \varphi_1, \ldots, \varphi_{n-1}$ пространства $H$ можно аппроксимировать по норме ${H}$ с любой точностью конечными линейными комбинациями вида

$$\sum_k c_k\left[\frac{d^{\nu}v_k(t)}{d t^\nu}\right]_{t=0}$$с одними и теми же коэффициентами $c_k$. Здесь $v_k(t)$ – вектор-функция вида

$$e^{\lambda t}\left(y_k+\frac{t}{1 !} y_{k-1}+\ldots +\frac{t^k}{k !} y\right).$$Определение $n$-кратной полноты, естественно, связано с решением задачи Коши для соответствующего уравнению (1) нестационарного уравнения.

Согласно теореме Келдыша, при сделанных предположениях относительно коэффициентов $\mathscr{L}(\lambda)$ система всех собственных и присоединённых векторов оператора $\mathscr{L}(\lambda)$ $n$-кратно полна в $H$. В работе (Келдыш. О собственных значениях ... 1951) было также показано, что собственные значения $\mathscr{L}(\lambda)$ асимптотически приближаются к лучам $\arg \lambda=\sqrt{\pi} / n$. При доказательстве полноты Келдыш развил новый метод оценки резольвенты абстрактного вполне непрерывного несамосопряжённого оператора конечного порядка. При этом выявилась особая роль, которую играют в проблеме полноты вольтерровы операторы – вполне непрерывные операторы с единственной точкой спектра в нуле. Для доказательства асимптотического поведения собственных значений Келдыш (Келдыш. Об одной тауберовой теореме ... 1951) использовал установленную им новую тауберову теорему.

Исследования Келдыша были продолжены многими учёными. Его теорема распространена (Аллахвердиев. 1957) на случай, когда в уравнении (1) оператор $\mathscr{L}(\lambda)$ рационально зависит от $\lambda$.

Было рассмотрено (Крейн. 1964, Крейн. 1965) уравнение $M(\lambda) y=0$ c $M(\lambda)=I+\lambda B+\lambda^2 C$, где $C$ – вполне непрерывный положительно определённый оператор, а $B$ – ограниченный самосопряжённый оператор. Обобщение теоремы Понтрягина (см. Понтрягин. 1944) о существовании у $J$-самосопряжённого оператора ${A}$ максимального $J$-неотрицательного инвариантного подпространства позволило (см. Крейн. 1964 и Крейн. 1965) установить, в важных для приложений ситуациях, двукратную полноту всех собственных и присоединённых векторов $M(\lambda)$, а также однократную полноту подсистемы, соответствующую спектру, расположенному в левой (правой) полуплоскости. Эти результаты получили дальнейшее развитие.

Установлена (см. Лидский. 1956) суммируемость рядов Фурье по собственным и присоединённым векторам вполне непрерывного оператора ${A}$ конечного порядка $\rho$, у которого значения квадратичной формы $(A x, x)$ лежат в секторе комплексной плоскости, раствора меньшего $\pi / \rho$ (по поводу приложений этой теоремы и её дальнейших обобщений см. Агранович. 1976 и библиографию там).

Вопрос о том, когда система собственных и присоединённых векторов образует базис в гильбертовом пространстве, изучался в ряде работ (см. Гохберг. 1965). Наиболее общие условия, при которых система собственных и присоединённых векторов диссипативного вполне непрерывного оператора образует базис, найдена в (Кацнельсон. 1967).

В случае сингулярных дифференциальных операторов с дискретным спектром получен (см. в Гохберг. 1965 и Лидский. 1957) ряд тонких результатов о полноте собственных и присоединённых функций оператора Штурма – Лиувилля с комплексным потенциалом. Важные результаты получены в случае эллиптических операторов (см. Костюченко. 1964). Дано обобщение теоремы Келдыша на случай обобщённых собственных и присоединённых функций несамосопряжённых эллиптических операторов (см. Пономарев. 1974; Круковский. 1976).

Попытка перенести теорему о приведении конечномерного оператора к жордановой форме на бесконечномерный случай привела к построению треугольного интегрального представления. Для вполне непрерывных операторов $B=B_R+i B_I$, где $B_R$ и $B_I$ – самосопряжённые и $B_I$ имеет конечный порядок, получен аналог теоремы Шура об унитарной эквивалентности оператора $B$ треугольному (Гохберг. 1967). Особое место в проблеме треугольного представления заняли вольтерровы операторы.

В проблеме треугольного представления существенную роль сыграла теорема Неймана о существовании у линейного вполне непрерывного оператора в гильбертовом пространстве нетривиального инвариантного подпространства; у произвольного ограниченного линейного оператора в банаховом пространстве нетривиального инвариантного подпространства может не быть; соответствующий вопрос для случая гильбертова пространства остаётся открытым (1982). Вольтерров оператор называется одноклеточным, если из каждых двух его инвариантных подпространств $Q_1$ и $Q_2$ либо $Q_1 \subset Q_2$, либо $Q_2 \subset Q_1$. Найдено (Бродский, Кисилевский. 1966) необходимое и достаточное условие однолистности оператора $B$ в предположении, что $B_I$ – ядерный неотрицательно определённый: это условие формулируется в терминах роста резольвенты оператора $B$ при $\lambda \rightarrow 0$. Указано (Никольский. 1967) простое достаточное условие одноклеточности.

Несамосопряжённые операторы с непрерывным спектром впервые были исследованы М. А. Наймарком (см. Наймарк. 1954; Наймарк. 1969), который получил разложение в интеграл Фурье, связанное с несамосопряжённой задачей

$$l(y)=-y^{\prime \prime}+p(x) y=\lambda y, \quad 0 \leqslant x<\infty, \tag{3}$$$$y^{\prime}(0)-\theta y(0)=0, \tag{4}$$где $p(x)$ – комплекснозначная функция, удовлетворяющая условию

$$\int_0^{\infty}\left(1+x^2\right)|p(x)|\, d x<\infty, \tag{5}$$$\theta$ – комплексное число. Из результатов работы (Наймарк. 1954), в частности, следует, что в окрестности точек действительной оси, обращающих функцию $A(s)=\omega_x^{\prime}(0, s)-\theta \omega(0, s)$ в нуль $(s=\sqrt{x})$, спектральные проекторы оператора (3)–(4) неограниченны [через $\omega(x, s)$ обозначено решение уравнения (3), удовлетворяющее условию $\omega(x, s) e^{-i x s} \rightarrow 1$ при $x \rightarrow+\infty$ – решение Иоста]; действительные нули функции $A(s)$ названы в (Наймарк. 1954) спектральными особенностями. Получено обобщение результатов работы (Наймарк. 1954) на случай уравнения Шредингера в трёхмерном пространстве. В развитие работы (Наймарк. 1954) было показано (см. Марченко. 1960), что в общем случае [без ограничения типа (5)] спектральная функция дифференциального оператора должна рассматриваться как линейный непрерывный функционал, заданный на некотором топологическом пространстве.

Исследовалась (см. Садовничий. 1976) система несамосопряжённых уравнений с особыми точками, положение которых зависит от спектрального параметра. Эти системы встречаются в безмоментной теории оболочек. Для таких систем установлены асимптотические свойства решений, а также доказаны теоремы разрешимости типа теоремы Коши. Установлены теоремы полноты системы собственных и присоединённых функций несамосопряжённых интегродифференциальных операторов, порождающих нерегулярную задачу.

Важной задачей теории дифференциальных несамосопряжённых операторов является задача о разложении ядра оператора Грина в биортогональный ряд по собственным и присоединённым функциям, а также проблема их базисности. Я. Д. Тамаркин (Тамаркин. 1917) исследовал разложения суммируемой функции в ряд по собственным и присоединённым функциям регулярной задачи, а также вопросы равносходимости с тригонометрическим рядом Фурье. Позже было показано (см. Ward. 1924; 1932), что для нерегулярных задач равносходимость с тригонометрическим рядом не имеет места.

Для усиленно регулярных условий система собственных и присоединённых функций образует базис в $L_2$. Показано (см. Михайлов. 1962; Кессельман. 1964), что указанная система образует не только базис, но и т. н. базис Рисса.

Развит в (см. Ильин. 1976) важный метод изучения условий базисности и равномерной сходимости разложений по собственным и присоединённым функциям обыкновенного несамосопряжённого оператора. Этот метод является дальнейшим развитием идей, применённых при исследовании самосопряжённых задач. Предложена новая трактовка собственных и присоединённых функций, что позволило отказаться от конкретного вида граничных условий; рассмотрены общие обыкновенные дифференциальные операторы или пучки таких операторов и установлены необходимые и достаточные условия базисности собственных и присоединённых функций таких операторов, а также критерии равносходимости. Метод основан лишь на формуле среднего значения для собственных и присоединённых функций (см. также Моисеев. 1977). Оказалось также, что если у оператора число присоединённых функций бесконечно, то свойство базисности зависит от выбора последних (см. Тихомиров. 1977).

Для несамосопряжённых эллиптических операторов имеет место (Лидский. 1962) сходимость некоторой последовательности средних типа Пуассона частичных сумм биортогонального ряда, т. е. предложен способ суммирования.

Разложения по собственным и присоединённым функциям нерегулярных задач впервые получены для задачи вида $y^{\prime \prime \prime}=\lambda y$, $y(0)=y^{\prime}(0)=y(1)=0$. Доказано (см. Ward. 1924; 1932), что в равномерно сходящиеся ряды такого вида могут быть разложены функции, удовлетворяющие некоторым условиям аналитичности.

К числу фундаментальных относятся исследования, в которых изучается вопрос о возмущении спектра оператора Лапласа при изменении области. При этом впервые была выявлена роль ёмкости варьируемого множества на спектр оператора. Эти методы с успехом применяются при исследовании несамосопряжённых задач.

В теории несамосопряжённых операторов успешно применяются методы регуляризации, основы которых были заложены в (Тихонов. 1963). Пример – вопрос регуляризованных следов несамосопряжённых операторов. Первой работой по теории следов была статья (Гельфанд. 1953), где был вычислен регуляризованный след оператора Штурма – Лиувилля. Наиболее общие результаты в теории следов операторов получены в статьях (Лидский. 1967; Садовничий. 1974). Оказалось, что формулы следов обыкновенных несамосопряжённых дифференциальных операторов, зависящих сложным образом от спектрального параметра, могут быть получены как следствия из формул регуляризованных сумм корней некоторого класса целых функций. (По поводу следов для сингулярных операторов и операторов с частными производными см. Садовничий. 1974; Садовничий. 1981.)

К числу важных работ, в которых развиты новые методы и идеи теории несамосопряжённых операторов, относится также обзорный доклад (Келдыш. 1963).

Построение окончательной теории несамосопряжённых операторов далеко от завершения (1982). С одной стороны, в самой этой теории формируются новые направления исследования, например теория рассеяния (Лакс. 1979), построение теории операторов сжатия (Секефальви-Надь. 1970), метод канонического оператора Маслова (Маслов. 1973), теория спектральных операторов (Данфорд. 1974) и другие, а с другой стороны, исследования прикладных задач, механики, математической физики подсказывают новые пути развития этой теории.