Интегра́льный опера́тор, отображение $x\rightarrow Ax$, когда закон соответствия $A$ задаётся с помощью интеграла. Интегральный оператор называется иногда интегральным преобразованием. Так, например, для интегрального оператора Урысона (см. уравнение Урысона): $\varphi \rightarrow A \varphi$ закон соответствия $A$ определяется интегралом (или оператор $\varphi \rightarrow A \varphi$ порождается интегралом)

$$A \varphi(t)=\int_{D} P(t, \tau, \varphi(\tau))\, d \tau, \quad t \in D,\tag1$$причём $D$ – заданное измеримое множество конечной меры Лебега в конечномерном пространстве; $P(t, \tau, u)$, $t, \tau \in D$, $-\infty<u<\infty$ – заданная измеримая функция. Предполагается, что функции $P$ и $\varphi$ удовлетворяют условиям, обеспечивающим существование интеграла в (1) в смысле Лебега. Если функция $P(t, \tau, u)$ нелинейна относительно $u$, то (1) является примером нелинейного интегрального оператора. Если же $P(t,\tau,u)=K(t,\tau)u$, тогда (1) принимает вид

$$A \varphi(t)=\int_{D} K(t, \tau) \varphi(\tau) \, d \tau, \quad t \in D.\tag2$$Оператор, порождаемый интегралом (2), или просто оператор (2), называется линейным интегральным оператором, а функция $K$ – ядром интегрального оператора.

Ядро $K$ называется ядром Фредгольма, если оператор (2), соответствующий ядру $K$, действует вполне непрерывно из заданного функционального пространства $E$ в некоторое другое функциональное пространство $E_{1}$. В этом случае сам оператор (2) называется интегральным оператором Фредгольма из $E$ в $E_{1}$.

Линейные интегральные операторы часто рассматриваются в функциональных пространствах $C(D)$ – непрерывных на ограниченном замкнутом множестве $D$ функций и $L_{p}(D)$ – суммируемых на $D$ со степенью $p$ функций. В этом случае оператор (2) – оператор Фредгольма в $C(D)$ (т. е. из $C(D)$ в $C(D))$, если $K$ непрерывно на $D \times D$ (такое ядро называется непрерывным). Он является оператором Фредгольма в $L_{2}(D)$ (из $L_{2}(D)$ в $L_{2}(D)$), если ядро $K$ измеримо на $D\times D$ и

$$\int_{D} \int_{D}|K(t, \tau)|^{2} \,d t \,d \tau<\infty.\tag3$$Такое ядро называется $L_{2}$-ядром.

Сопряжённый оператор к оператору (2) в комплексном функциональном пространстве $L_{2}(D)$ с ядром, удовлетворяющим условию (3), есть интегральный оператор

$$A^{*} \varphi(t)=\int_{D} \overline{K(\tau, t)} \varphi(\tau) \,d \tau, \quad t \in D,\tag4$$где черта означает переход к комплексно-сопряжённому значению. Если ядро $K$ эрмитово (симметрично) (т. е. $\overline{K(\tau, t})=K(t, \tau))$, то соответствующий оператор Фредгольма (2) совпадает со своим сопряжённым (4). Операторы, обладающие этим свойством, называются самосопряжёнными. Оператор Фредгольма с симметричным ядром называется интегральным оператором Гильберта–Шмидта.

Пусть $|t-\tau|$ обозначает расстояние между точками $t$ и $\tau$ $n$-мерного евклидова пространства, $B(t, \tau)$ – ограниченная измеримая функция на $D \times D$, тогда ядро вида

$$K(t, \tau)=\frac{B(t, \tau)}{|t-\tau|^{m}}, \quad 0<m<n,\tag5$$называется ядром типа потенциала, а интегральный оператор (2) с таким ядром – интегральным оператором типа потенциала; ядро (5) называется также полярным ядром, или ядром co слабой особенностью, а соответствующий оператор (2) – интегральным оператором co слабой особенностью.

Если функция $B(t, \tau)$ непрерывна на $D \times D$, то интегральный оператор со слабой особенностью вполне непрерывен в пространстве $C(D)$, а если $B(t, \tau)$ – измеримая ограниченная функция на $D \times D$, то он вполне непрерывен в пространстве $L_{2}(D)$.

Если ядро $K$ и $m$-мерное множество $D$ таковы, что интеграл (2) не существует в смысле Лебега, но существует в смысле главного значения по Коши, то он называется $m$-мерным сингулярным интегралом. Оператор, который им порождается, называется $m$-мерным сингулярным интегральным оператором, или одномерным (при $m=1$ ) и многомерным (при $m>1$ ) сингулярным интегральным оператором.

Если линия $D$ лежит на плоскости комплексного переменного $t$, то равенство

$$A \varphi(t)=\int_{D} \frac{\varphi(\tau)}{\tau-t}\,d \tau, \quad t \in D, \tag6$$где интеграл понимается в смысле главного значения по Коши, порождает непрерывный интегральный оператор $\varphi \rightarrow A \varphi$ в пространстве функций, удовлетворяющих условию Гёльдера, если $D$ – простая замкнутая гладкая линия; и в пространстве $L_{p}(D)$, $1<p<\infty$, если $D$ – ляпуновская линия. Оператор (6) называется сингулярным оператором Коши.

Пусть на действительной оси заданы две измеримые по Лебегу функции $\varphi$ и $g$. Если для почти всех $t \in]-\infty, \infty[$ существует интеграл

$$\int_{-\infty}^{\infty}|\varphi(\tau)||g(\tau-t)| \, d \tau,$$то можно определить функцию

$$(g * \varphi)(t)=\int_{-\infty}^{\infty} g(\tau-t) \varphi(\tau) \, d \tau,\tag7$$которая называется свёрткой функций $g$ и $\varphi$. Если зафиксировать функцию $g$, то интеграл (7) определяет оператор

$$T \varphi(t)=(g * \varphi)(t),\tag8$$который называется интегральным оператором (или интегральным преобразованием) свёртки с ядром $g$. Если $g \in L_{r}(-\infty, \infty)$, $1 \leqslant p, q, r \leqslant \infty$ и $\frac{1}{p}-\frac{1}{q}=\frac{1}{r}-1$, то оператор (8) непрерывен из $L_{q}(-\infty, \infty)$ в $I_{p}(-\infty, \infty)$. При соответствующих предположениях интегральный оператор свёртки применяется как на полупрямой, так и на конечном отрезке.

Кроме указанных выше интегральных операторов, исследованы конкретные классы интегральных операторов, например интегральные преобразования Фурье, Лапласа, Бесселя, Меллина, Гильберта и др.