Нелине́йное интегра́льное уравне́ние, интегральное уравнение, содержащее неизвестную функцию нелинейно. Ниже приведены основные классы нелинейных интегральных уравнений, которые часто встречаются при исследовании различных прикладных задач и теория которых в определённой постановке достаточно хорошо разработана.

Важным примером нелинейного интегрального уравнения является уравнение Урысона

$$\varphi(x)=\lambda\int_{\Omega} K[x,s,\varphi(s)]\,ds, \quad x \in \Omega,\tag{1}$$где $\Omega$ – замкнутое ограниченное множество конечномерного евклидова пространства, $K[x,s,t]$ – заданная функция, называемая ядром, определённая при $x,s\in \Omega$, $\infty<t<\infty$, $\lambda$ – числовой параметр, $\varphi$ – искомая функция.

П. С. Урысон при определённых предположениях дал полное исследование спектра собственных значений уравнения (1), допускающих положительные собственные функции. Было показано, что положительные собственные функции $\varphi(x,\lambda)$ соответствуют значениям $\lambda$ только из некоторого интервала$(\alpha,\beta)$, причём $\varphi(x,\lambda)$ является монотонно возрастающей функцией $\lambda$ и $\varphi(x,\alpha)=0$, $\varphi(x,\beta)=\infty$.

Частным случаем уравнения Урысона является уравнение Гаммерштейна

$$\varphi(x)=\lambda\int_{\Omega}K(x,s)f[s,\varphi(s)] \,ds, \quad x\in\Omega,\tag{2}$$где $K(x,s)$, $f(s,t)$ – известные функции. Теоремы существования и единственности впервые были установлены А. Гаммерштейном (см. Hammerstein A., 1930). Он исследовал уравнение (2) в предположении, что действительная функция $f(s,t)$ непрерывна по совокупности аргументов и что самосопряжённый в $L_{2}(\Omega)$ линейный интегральный оператор, порождённый ядром $K$, является положительным и действует вполне непрерывно из $L_{2}(\Omega)$ в пространство непрерывных функций.

Другим примером нелинейного интегрального уравнения является уравнение Ляпунова – Шмидта

$$\begin{gathered} \sum_{\alpha,\beta} \int_{\Omega}\cdots\int_{\Omega} K_{\alpha,\beta}(x,s_1,\ldots,s_i) \times \varphi^{\alpha_0}(x) \varphi^{\alpha_1}(s_1) \ldots \varphi^{\alpha_i}(s_i) \times \\ \times v^{\beta_0}(x) v^{\beta_1}(s_1) \ldots v^{\beta_i}(s_i)\,ds_1 \ldots ds_i=0, x\in\Omega, \end{gathered}\tag{3}$$где функции $K_{\alpha,\beta}$ и $v$ — заданные, $\varphi$ — искомая, число $i$ фиксировано, и суммирование распространено на всевозможные векторы $\alpha=(\alpha_{0},\alpha_{1},\ldots,\alpha_{i})$, $\beta=(\beta_{0},\beta_{1},\ldots,\beta_{i})$ с неотрицательными целочисленными компонентами. Левая часть равенства (3) называется интегро-степенным рядом от двух функциональных аргументов $v$, $\varphi$.

Уравнение типа (3) впервые рассмотрел А. М. Ляпунов, а позднее, в более общем виде, Э. Шмидт. В их исследованиях были заложены основы теории ветвления нелинейных интегральных уравнений, целью которой является решение следующей задачи. Пусть ищется решение нелинейной задачи, зависящее от некоторых параметров, причём для некоторых их значений решение может разветвляться. Возникают вопросы о нахождении самого решения и тех значений параметров, при которых оно разветвляется, о числе ветвей и о представлении каждой ветви как функции параметров (см. Вайнберг. 1969).

Теория нелинейных интегральных уравнений является частью общей теории нелинейных операторных уравнений. Именно, интегральные уравнения рассматриваются как конкретные иллюстрации соответствующих операторных уравнений. Для этого требуется выяснение общих свойств (непрерывность, полная непрерывность и т. д.) конкретных интегральных операторов, входящих в уравнение.