Грани́чные зада́чи тео́рии аналити́ческих фу́нкций, задачи нахождения аналитической в некоторой области функции по заданному соотношению между граничными значениями её действительной и мнимой частей.

Впервые такая задача была поставлена Б. Риманом (B. Riemann, 1857). Д. Гильберт (D. Hilbert, 1912) исследовал граничную задачу в следующей постановке (задача Римана – Гильберта): найти функцию $\Phi(z)=u+i v$, аналитическую в односвязной области $S^+$ с контуром $L$, непрерывную в $S^+\cup L$, по граничному условию

$$\operatorname{Re}(a+i b)\Phi=a u-b v=c,\tag{1}$$где $a, b, c$ – заданные на $L$ действительные непрерывные функции. Первоначально Д. Гильберт привел эту задачу к сингулярному интегральному уравнению с целью дать пример приложения такого уравнения.

Задача (1) может быть сведена к последовательному решению двух задач Дирихле. Полное исследование задачи, проведённое таким способом, имеется в статье И. Н. Векуа (Векуа. 1942).

Близкой к задаче (1) является задача, к которой пришёл А. Пуанкаре (H. Poincaré, 1912) при разработке математической теории приливов. Задача Пуанкаре состоит в определении гармонической в области $S^+$ функции $u(x,y)$ по условию на границе $L$ этой области:

$$A(s) \frac{\partial u}{\partial n}+B(s) \frac{\partial u}{\partial s}+C(s) u=f(s),\tag{2}$$где $A(s), B(s), C(s), f(s)$ – заданные на $L$ действительные функции, $s$ – дуговая абсцисса, $n$ – нормаль к $L$.

Под обобщённой задачей Римана – Гильберта – Пуанкаре понимается следующая линейная граничная задача: найти функцию $\Phi(z),$ аналитическую в $S^{+}$, по граничному условию

$$\operatorname{Re}\{\lambda \Phi\}=f\left(t_{0}\right), \qquad t_{0} \in S+,\tag{3}$$где $\lambda$ – интегро-дифференциальный оператор, определяемый формулой

$$\lambda \Phi=\sum_{j=0}^{m}\left\{a_{j}\left(t_{0}\right) \Phi_{t}^{(j)}\left(t_{0}\right)+\int_{L} h_{j}\left(t_{0}, t\right) \Phi^{j}(t)\,d s\right\},\tag{4}$$в которой $a_{0}(t_{0}), \ldots, a_{m}(t)$ – заданные на $L$, вообще говоря, комплексные, функции класса $H$ (т. е. удовлетворяющие условию Гёльдера), $f(t)$ – заданная действительная функция класса $H$, $h_{j}(t_{0},t)$ – заданные на $L$, вообще говоря, комплексные, функции вида

$$h_{j}\left(t_{0},t\right)=\frac{h_{j}^{0}\left(t_{0}, t\right)}{\left|t-t_{0}\right|^{\alpha}},\qquad 0 \leqslant \alpha<1,$$причём $h_{j}^{0}\left(t_{0},t\right)$ – функции класса $H$ по обеим переменным. В правой части (4) под $\Phi^{j}\left(t_{0}\right)$ подразумевается граничное значение на $L$ изнутри области $S^{+}$ производной $j$-ro порядка функции $\Phi(z)$.

Частным случаем задачи Римана – Гильберта – Пуанкаре при $m=0$, $h_{j}\left(t_{0},t\right)=0$ является задача Римана – Гильберта; задача Пуанкаре также является частным случаем сформулированной задачи. К задаче Римана – Гильберта – Пуанкаре приводятся многие важные граничные задачи, например граничные задачи для уравнений с частными производными эллиптического типа с двумя независимыми переменными.

Задача Римана – Гильберта – Пуанкаре была поставлена и в предположении, что $a_{m}\left(t_{0}\right) \neq 0, t_{0} \in L$, и решена И. Н. Векуа (1942).

В теории граничных задач важную роль играет понятие индекса задачи – целого числа, определяемого формулой

$$\varkappa=2(m+n),$$где $2 \pi n$ – приращение $\arg\overline{a_{m}(t)}$ при однократном обходе контура $L$ в направлении, оставляющем область $S^+$ слева.

Задача Римана – Гильберта – Пуанкаре редуцируется к сингулярному интегральному уравнению вида

$$N_{\mu}=A\left(t_{0}\right) \mu\left(t_{0}\right)+\int_{L} N\left(t_{0}, t\right) \mu(t)\,d s=f\left(t_{0}\right)-c \sigma\left(t_{0}\right),\tag{5}$$где $\mu$ – искомая действительная функция класса $H$, $c$ – искомая действительная постоянная, а

$$N\left(t_{0},t\right)=\frac{K\left(t_{0},t\right)}{t-t_{0}}.$$Функции $A\left(t_{0}\right)$, $K\left(t_{0},t\right)$, $\sigma\left(t_0\right)$ выражаются через $a_{j}(t)$ и $h_{j}\left(t_{0+},t\right)$, $j=0, \ldots, m$.

Пусть $k$ и $k^{\prime}$ – числа линейно независимых решений соответствующего (5) однородного интегрального уравнения $N \mu=0$ и союзного с ним однородного интегрального уравнения

$$N_{\nu}^{\prime}=A\left(t_{0}\right) \nu\left(t_{0}\right)+\int_{L} N\left(t, t_{0}\right) \nu(t) \,d s=0.\tag{6}$$Числа $k$ и $k^{\prime}$ связаны с индексом $\varkappa$ задачи Римана – Гильберта – Пуанкаре равенством

$$\varkappa=k-k^{\prime}.$$Особый интерес представляет тот случай, когда задача разрешима при всякой правой части $f\left(t_{0}\right)$. Для того чтобы задача Римана – Гильберта – Пуанкаре была разрешима при любой правой части $f\left(t_{0}\right)$, необходимо и достаточно, чтобы $k^{\prime}=0$ или $k^{\prime}=1$, причём в последнем случае решение $\nu(t)$ уравнения (6) должно удовлетворять условию

$$\int_{L} \nu(t) \sigma(t)\,d s \neq 0;$$в обоих случаях $\varkappa\geqslant 0$ и однородная задача $\operatorname{Re}\{\lambda\Phi\}=0$ имеет ровно $\varkappa+1$ линейно независимых решений. При $\sigma(t)=0$ задача Римана – Гильберта – Пуанкаре разрешима при любой правой части тогда и только тогда, когда $k^{\prime}=0$.

В случае задачи Римана – Гильберта имеют место следующие утверждения: 1) при $\varkappa\geqslant 0$ неоднородная задача (1) разрешима при любой правой части и 2) при $\varkappa<-2$ эта задача разрешима тогда и только тогда, когда

$$\int_{0}^{2 \pi} e^{i\left(\frac{\varkappa}{2}+k\right) \varphi} \Omega(\varphi) c(\varphi)\,d \varphi=0, \quad k=1, \ldots,-\varkappa-1,$$где

$$\begin{gathered} \Omega(\varphi) =\frac{1}{\sqrt{a^{2}(\varphi)+b^{2}(\varphi)}} \exp \left\{-\frac{1}{4 \pi} \int_{0}^{2 \pi} \theta(\varphi_{1}) \operatorname{ctg} \frac{\varphi_{1}-\varphi}{2}\,d \varphi_{1}\right\}, \\ \theta(t)=\arg \left[-t^{-\varkappa} \frac{a-i b}{a+i b}\right], \qquad a^{2}+b^{2} \neq 0 . \end{gathered}$$Задача Римана – Гильберта тесно связана с т. н. задачей линейного сопряжения. Если $L$ – простая гладкая или кусочно-гладкая линия, состоящая из замкнутых контуров, ограничивающих некоторую область $S^+$ плоскости комплексного переменного $z=x+iy$, остающуюся слева при обходе $L$, то дополнение $S^+\cup L$ до плоскости $z$ обозначается через $S^-$. Пусть функция $\Phi(z)$ задана и непрерывна в окрестности линии $L$ всюду, кроме, быть может, самой $L$. Говорят, что функция $\Phi(z)$ непрерывно продолжима на точку $t \in L$ слева (или справа), если $\Phi(z)$ стремится к определённому пределу $\Phi^+(t)$ [или $\Phi^-(t)$], когда $z$ стремится к $t$ по любому пути, оставаясь слева (или справа) от $L$.

Функцию $\Phi(z)$ называют кусочно-аналитической с линией скачка $L$, если она аналитична в $S^+$ и $S^-$ и непрерывно продолжима на каждую точку $t \in L$ как слева, так и справа.

В задаче линейного сопряжения требуется определить кусочно-аналитическую функцию $\Phi(z)$ с линией скачка $L$, имеющую конечный порядок на бесконечности, по граничному условию

$$\Phi^+(t)=G(t) \Phi^-(t)+g(t), \qquad t \in L_{+},$$где $G(t)$ и $g(t)$ – заданные на $L$ функции класса $H$. В предположении, что $G(t)\neq 0$ всюду на $L$, целое число

$$\varkappa=\frac{1}{2 \pi}[\arg G(t)]_{L}$$называется индексом задачи линейного сопряжения.

Когда $\Phi(z)=\left(\Phi_{1}, \ldots, \Phi_{n}\right)$ – кусочно-аналитический вектор, $G(t)$ – квадратная ($n \times n$)-матрица и $g(t)=\left(g_{1}, \ldots, g_{n}\right)$ – вектор, причём $\operatorname{det} G(t) \neq 0$, целое число $$\varkappa=\frac{1}{2 \pi}[\arg \operatorname{det} G(t)]_{L}$$называется суммарным индексом задачи линейного сопряжения. Понятия индекса и суммарного индекса играют важную роль в теории задачи линейного сопряжения (Хведелидзе. 1956; Гахов. 1963; Мусхелишвили. 1968; Векуа. 1970).

Ha базе теории задачи линейного сопряжения построена теория одномерных сингулярных интегральных уравнений вида (5).