Коэрцити́вная краева́я зада́ча, краевая задача, удовлетворяющая неравенству коэрцитивности. Иногда коэрцитивные краевые задачи для эллиптических уравнений называются эллиптическими краевыми задачами (Хёрмандер. 1965).

Пусть $P\left(\xi_1, \ldots, \xi_n\right)$ – однородный многочлен степени $2 m$ и

$$P(D) u=f, \quad D=\left(\frac{\partial}{\partial x_1}, \ldots, \frac{\partial}{\partial x_n}\right) \tag{1}$$– эллиптическое уравнение порядка $2 m$. Для уравнения (1) в полупространстве $R_n^{+}:\left\{x_n>0\right\}$ рассматривается краевая задача с граничными условиями

$$q_j(D) u=\varphi_j,\quad j=1, \ldots, m,\; \text { при } \; x_n=0, \tag{2}$$где $q_j\left(\xi_1, \ldots, \xi_n\right)$ – однородные многочлены степеней $\mu_j$, $j=1, \ldots, m$.

Задача (1), (2) коэрцитивна в $R_n^{+}$, если порядки всех операторов $q_j$ относительно $\partial / \partial x_n$ меньше $2 m$ и если эта задача не имеет ограниченных решений вида

$$\begin{gathered} u(x)=w\left(x_n\right) \exp i\left(x_1 \xi_1+\ldots+x_{n-1} \xi_{n-1}\right), \\ \xi^{\prime}=\left(\xi_1, \ldots, \xi_{n-1}\right) \neq 0. \end{gathered} \tag{3}$$Многочлен $P\left(\xi^{\prime}, \tau\right)$ относительно $\tau$ имеет в верхней полуплоскости $\operatorname{Im} \tau>0$ ровно $m$ корней $\tau_1, \ldots, \tau_m$. Если все эти корни различны, то отсутствие ограниченных решений вида (3) у задачи (1), (2) эквивалентно выполнению неравенства

$$\left[\Pi_{l<j}\left(\tau_j-\tau_l\right)\right]^{-1} \operatorname{det}\left(q_j\left(\xi^{\prime}, \tau_i\right)\right) \neq 0,\quad \xi^{\prime} \neq 0. \tag{4}$$Это условие иногда называется условием дополнительности.

Краевая задача

$$\begin{gathered} P(x, D) u=f, \quad x \in G,\quad q_i(x, D) u=\varphi_j,\quad x \in \partial G, \\ j=1, \ldots, m, \end{gathered} \tag{5}$$для линейного эллиптического уравнения порядка $2 m$ в области $G$ коэрцитивна в точке $x_0$ границы $\Gamma$ области $G$, если коэрцитивна задача

$$P_{2 m}\left(x_0, D\right) u=f, \quad q_j^0\left(x_0, D\right) u=\varphi_j, \quad j=1, \ldots, m,$$где $P_{2 m}$ и $q_j^{(0)}$– однородные составляющие самой высокой степени соответствующих полиномов.

Для исследования коэрцитивной краевой задачи успешно применяется метод выпрямления границы. Некоторым гомеоморфным отображением окрестность $U(X)$ точки $X$ границы $\Gamma$ области $G$ отображается так, чтобы пересечение $U(X) \bigcap \Gamma$ переходило в некоторую область плоскости $y_n=0$, а $U(X) \bigcap G$ – в полупространство $R_n^{+}$ переменных $y_1,\ldots,y_n$. В результате такого отображения коэрцитивная краевая задача для произвольной области $G$ с достаточно гладкой границей $\Gamma$ редуцируется к исследованию задачи для $R_n^{+}$.

Условие (4) для задачи (5) означает, что характеристическое направление системы дифференциальных операторов

$$q_j(x, D) u,\quad j=1, \ldots, m,$$заданных в окрестности точек границы $\Gamma$ области $G$, ни в одной точке $\Gamma$ не является касательным к $\Gamma$. При выполнении этого условия для решения $u$ задачи (5) имеет место коэрцитивная оценка

$$\|u\|_{2 m, G} \leqslant C\left\{\|f\|_{0, G}+\sum_{j=1}^m\left\|\varphi_j\right\|_{2 m-\mu_j,\, \Gamma}+\|u\|_{0, G}\right\},$$где норма в пространстве Соболева $W_2^{2 m}(G)$ оценивается $j=1, \ldots, m$, причём $\mu_j$ – порядок оператора $g_j$.

Понятие коэрцитивной краевой задачи обобщается и на эллиптические системы уравнений. Методы исследования и результаты, справедливые для коэрцитивной краевой задачи для одного эллиптического уравнения, обобщаются и на коэрцитивные краевые задачи для эллиптических систем (3). Исследование коэрцитивной краевой задачи для эллиптических уравнений и систем часто редуцируется, например методом параметрикса, к исследованию системы сингулярных интегральных уравнений. Эта система является нётеревой системой интегральных уравнений (Лопатинский. 1953; Шапиро. 1951), а условие (4), или в случае системы аналог этого условия, гарантирует нормальность системы интегральных уравнений. Коэрцитивная краевая задача всегда нётерова, т. е. неоднородная задача разрешима при соблюдении конечного числа условий ортогональности, наложенных на правые части уравнений системы и на заданные функции в краевых условиях, а соответствующая однородная задача имеет конечное число линейно независимых решений.

Примером коэрцитивной краевой задачи для любого эллиптического уравнения может служить задача Дирихле. В этом случае

$$q_j(x, D)=\frac{\partial^{j-1}}{\partial n^{j-1}},\quad j=1, \ldots, m,$$где $\partial / \partial n$ означает производную по направлению конормали для данного эллиптического оператора. Однако задача Дирихле уже не для всякой эллиптической системы является коэрцитивной краевой задачей. Примером таких систем может служить система двух уравнений, которая в комплексной записи называется уравнением Бицадзе.