Нелине́йный опера́тор, отображение $A$ векторного (как правило) пространства $X$ в векторное пространство $Y$ над общим полем скаляров, не обладающее свойством линейности, т. е. такое, что, вообще говоря,

$$A\left(\alpha_1 x_1+\alpha_2 x_2\right) \neq \alpha_1 A x_1+\alpha_2 A x_2 .$$Если $Y$ есть множество действительных чисел $\mathbb{R}$ или комплексных чисел $\mathbb{C}$, то нелинейный оператор называется нелинейным функционалом. Простейшим примером нелинейного оператора (нелинейного функционала) служит действительная функция действительного аргумента, отличная от линейной функции.

Одним из важных источников возникновения нелинейного оператора являются задачи математической физики. Если при составлении локального математического описания процесса учитываются малые не только первого, но и высших порядков, то возникают уравнения с нелинейными операторами. К нелинейным операторным уравнениям приводят также некоторые задачи математической экономики, авторегулирования, теории управления и т. д.

Примеры нелинейных операторов.

$$1)\; A x=\int_a^b K(t, s, x(s)) d s,$$где $K(t, s, u)$, $a \leqslant t$, $s \leqslant b$, $-\infty<u<\infty$ – такая функция, что $g(t)=\int_a^b K(t, s, x(s)) d s$ есть непрерывная на $[a, b]$ функция для любой функции $x(s) \in C(a, b)$ [например, $K(t, s, u)$ непрерывна на $a \leqslant t$, $s \leqslant b$, $-\infty<u<\infty$]. Если $K(t, s, u)$ нелинейна по $u$, то $A$ – нелинейный оператор Урысона, отображающий $C[a, b]$ в $C[a, b]$. При других ограничениях на $K(t, s, u)$ оператор Урысона действует в других пространствах, например в $L_2[a, b]$, или отображает одно пространство Орлича $L_{M_1}[a, b]$ в другое $L_{M_2}[a, b]$.

$$2) \; B x=\int_a^b K(t, s) g(s, x(s)) \,d s,$$где $g(t, u)$ – нелинейная по $u$ функция, определённая на $a \leqslant t \leqslant b$, $-\infty<u<\infty$. При соответствующих ограничениях на $g(t, u)$ оператор $B$ действует из одного функционального пространства в другое и называется нелинейным оператором Гаммерштейна.

$$3)\; F(x)=f(t, x(t))$$– оператор суперпозиции, называемый также оператором Немыцкого, преобразующий при соответствующих ограничениях на нелинейную по $2$-му аргументу функцию пространство измеримых функций $x(t)$ в себя.

$$4)\; D(x)=\sum_{|k|\leqslant m} D^k\left(a_k\left(t, x, D x, \ldots, D^k x\right)\right)$$– нелинейный дифференциальный оператор порядка $2m$ дивергентного вида, действующий в пространстве Соболева $W_p^{2 m}(G)$ при соответствующих ограничениях на нелинейные функции $a_k\left(t, u_0, u_1, \ldots, u_m\right)$. Здесь $k$ – мультииндекс $\left(k_1, \ldots, k_n\right)$, $|k|=k_1+\ldots+k_n$, $D^k=\frac{\partial|k|}{\partial t_1^{k_1} \partial t_2^{k_2} \ldots \partial t_n^{k_n}}$ и $G$ – ограниченная область пространства $\mathbb{R}^n$.

$$5)\; J(x)=\int_a^b K\left(t, s, x(s), x^{\prime}(s)\right) d s$$– нелинейный интегро-дифференциальный оператор, действующий при соответствующих ограничениях на функцию $K\left(t, s, u_0, u_1\right)$ в пространстве $C^{1}[a, b]$ непрерывно дифференцируемых функций.

На нелинейные операторы, действующие из одного топологического векторного пространства $X$ в другое топологическое векторное пространство $Y$, переносятся многие понятия и операции математического анализа действительных функций действительного переменного. Так, нелинейный оператор $A: M \rightarrow Y$, $M \subset X$ называется ограниченным, если $A(B \cap M)$ – ограниченное множество в $Y$ для любого ограниченного множества $B \subset X$. Нелинейный оператор $A$ непрерывен в точке $x \in M$, если прообраз $A^{-1}\left(U_{A x}\right)$ окрестности $U_{A x}$ точки $A x$ содержит $M \cap U_x$ для некоторой окрестности точки $x$. Как и для функций, нелинейный оператор, непрерывный в каждой точке компактного множества $M$, ограничен на этом множестве. В отличие от линейных операторов, для нелинейных операторов, действующих в нормированных пространствах, из ограниченности оператора $A$ на некотором шаре не следует непрерывность $A$ на этом шаре.

Однако в некоторых случаях из непрерывности (ограниченности) нелинейного оператора на шаре следует непрерывность (ограниченность) оператора во всей области его определения.

Среди нелинейных операторов, действующих из $X$ в $Y$, можно выделить некоторые важные классы.

1. Полилинейные операторы $A$: $X \times X \times \ldots \times X \rightarrow Y$, линейные по каждому аргументу. Пространство $L_n(X, Y)$ и $(\mathrm{I})$ всех $n$-линейных операторов изоморфно пространству $L\{X[\ldots L(X, Y), \ldots]\}$ $(\mathrm{II})$, где $L(X, Y)$ – пространство всех линейных операторов из $X$ в $Y$. Если $X$ и $Y$ – нормированные пространства, то пространства $(\mathrm{I})$ и $(\mathrm{II})$ изометричны. Если $A$ симметричен по всем аргументам, то $\tilde{A}(x, x, \ldots, x)$ обозначается $\tilde{A} x^n$ и называется однородным оператором $n$-й степени.

2. В пространствах, наделённых частичной упорядоченностью, – изотонные операторы $A$ и антитонные операторы $\tilde{A}$, характеризующиеся соответственно условиями $x \leqslant y \Rightarrow A x \leqslant A y$ и $x \leqslant y \Rightarrow A x \geqslant \tilde{A} y$.

3. В гильбертовом пространстве $H$ – монотонные операторы $M$, определяемые условием $\langle M x-M y, x-y\rangle \geqslant 0$ для любых $x, y \in H$.

4. Компактные операторы, преобразующие ограниченные подмножества своей области определения в предкомпактные множества, в том числе вполне непрерывные операторы, являющиеся одновременно компактными и непрерывными.

Для нелинейных операторов нетривиальными и полезными являются понятия дифференциала и производной. Оператор $A$, действующий из открытого множества $G$ нормированного векторного пространства $X$ в нормированное векторное пространство $Y$, называется дифференцируемым по Фреше в точке $x \in G$, если существует линейный непрерывный оператор $A^{\prime}(x): X \rightarrow Y$ такой, что для любого $h \in X$, для которого $x+h \in G$, имеет место

$$A(x+h)-A(x)=A^{\prime}(x) h+\omega,$$где $\omega / \| h \| 0$ при $h \rightarrow 0$. В этом случае линейная по $h$ часть $A^{\prime}(x) h$ приращения $A(x+h)-A(x)$ называется дифференциалом Фреше оператора $A$ в точке $x$ и обозначается $d A(x, h)$, а $\omega=\omega(A, x, h)$ называется остатком приращения. Линейный ограниченный оператор $A^{\prime}(x)$ называется производной Фреше оператора $A$ в точке $x$. Помимо дифференцируемости по Фреше вводится дифференцируемость по Гато. Именно, оператор $A$ называется дифференцируемым по Гато в точке $x$, если существует

$$\lim _{t \rightarrow 0} \frac{A(x+t h)-A(x)}{t}=D A(x, h),$$называемый дифференциалом Гато оператора $A$ в точке $x$. Дифференциал Гато однороден по $h$, т. е. $D A(x, \lambda h)=\lambda D A(x, h)$. Если $D A(x, h)$ линеен по $h$ и $D A(x, h)=A_0^{\prime}(x) h$, то линейный оператор $A_0^{\prime}(x)$ называется производной Гато оператора $A$. Из дифференцируемости по Фреше следует дифференцируемость по Гато и равенство $A_0^{\prime}(x)=A(x)$. Из дифференцируемости по Гато не следует в общем случае дифференцируемость по Фреше, но если $D A(x, h)$ существует в окрестности точки $x$, непрерывен по $h$ и равномерно непрерывен по $x$, то $A$ дифференцируем по Фреше в точке $x$. Для нелинейных функционалов $f: G \rightarrow \mathbb{R}$ дифференциалы и производные Фреше и Гато определяются аналогично. При этом производная Гато $f_0^{\prime}$ называется градиентом функционала $f$ и является оператором из $G$ в $X^*$. Если $A x=\operatorname{grad} f(x)$ для некоторого нелинейного функционала $f$, то оператор $A$ называется потенциальным.

Для операторов, действующих в отделимых топологических векторных пространствах, возможно несколько определений дифференцируемости. Пусть $\mathfrak{M}$ – некоторая совокупность ограниченных множеств топологического векторного пространства $X$. Отображение $\omega: G \times X \rightarrow Y$ называется $\mathfrak{M}$-малым, если для любого $M \in \mathfrak{M}$ имеет место $\omega(x, \mathrm{th}) / t \rightarrow 0$ при $t \rightarrow 0$ равномерно по $h \in \mathfrak{M}$. Отображение $A: G \rightarrow Y$ ($G \subset X$ и открыто) называется $\mathfrak{M}$-дифференцируемым в точке $x \in G$, если

$$A(x+h)-A x=A^{\prime}(x) h+\omega(A, x, h),$$где $\omega$ есть $\mathfrak{M}$-малое отображение. Чаще всего в качестве $\mathfrak{M}$ берётся либо совокупность всех ограниченных множеств, либо совокупность всех компактных множеств, либо совокупность всех конечных множеств пространства $X$. Для нелинейного оператора в нормированных пространствах первый случай приводит к дифференцируемости по Фреше, третий – к дифференцируемости по Гато.

Обычным образом, как производные от производных, определяются производные высших порядков $A^{(n)}(x)$ и $A_0^{(n)}(x)$ оператора $A$. Это – полилинейные симметрические отображения. Дифференциалом $n$-го порядка будет при этом однородная форма $n$-й степени $A^{(n)}(x) h^n$. Возможны иные определения высших производных. Пусть, например, $X$ и $Y$ – нормированные векторные пространства, $G \subset X$ – открыто, $x \in G$. Если для любого $h$ такого, что $x+h \in G$,
$$\tag{*} A(x+h)-A(x)=a_0(x)+a_1(x) h+\ldots+a_n(x) h^n+\omega,$$где $\omega=o\left(\|h\|^n\right)$, то полилинейная форма $k ! a_k(x)$ называется производной $k$-го порядка. Выражение $(*)$ называется при этом ограниченным разложением $n$-го порядка разности $A(x+h)-A(x)$. При выполнении соответствующих ограничений различные определения высших производных эквивалентны.

Если в пространстве $X$ задана скалярная счётно-аддитивная мера, то нелинейный оператор можно интегрировать, понимая $\int A(x) d x$ в смысле интеграла Бохнера.

Для нелинейного оператора $A: M \rightarrow Y$, как и в случае линейного, значения параметра $\lambda$ такие, что $(I-\lambda A)^{-1}$ существует и непрерывен на $A(M)$, естественно назвать регулярными, а остальные точки $\lambda$ отнести к спектру. По своим свойствам спектр нелинейного оператора $A$ может резко отличаться от спектров линейных операторов. Так, спектр вполне непрерывного нелинейного оператора может иметь непрерывные участки; из собственного элемента $x_0$ оператора $A$, т. е. такого, что $x_0=\lambda_0 A x_0$, могут выходить ветви собственных элементов, и т. п.