Оптима́льное управле́ние в матема́тике, раздел, в котором изучаются неклассические задачи вариационного исчисления. В отличие от классических вариационных задач, где управляющие параметры меняются в некоторой открытой области (без границы), теория оптимального управления охватывает и тот случай, когда управляющие параметры могут принимать и граничные значения.

Основным результатом теории оптимального управления является принцип максимума Понтрягина, дающий общее необходимое условие оптимальности управления. Этот результат и связанные с ним исследования, проведённые с начала 1950-х гг. Л. С. Понтрягиным и его сотрудниками, послужили исходным пунктом разработки теоретических, вычислительных и прикладных аспектов теории оптимального управления. При решении ряда задач оптимального управления с успехом используются идеи метода динамического программирования, основы которого разработаны Р. Беллманом и его сотрудниками.

В качестве типичной для теории оптимального управления можно привести задачу об оптимальном управлении объектом, математическая модель которого даётся системой обыкновенных дифференциальных уравнений $$\frac{dx^i}{dt}=f^i(x^1, \dots, x^n, u^1, \dots,u^r),\quad i=1, \dots,n, \quad\tag{1}$$где $x^1, \dots, x^n$  – фазовые координаты, характеризующие состояние объекта в момент $t$, а $u^1, \dots, u^r$  – управляющие параметры. Управление объектом означает выбор управляющих параметров как функций времени, $$u^j=u^j(t), \quad j=1, \dots, r, \quad\tag{2}$$являющихся допустимыми с учётом имеющихся возможностей управления объектом. Например, в прикладных задачах часто требуется, чтобы в каждый момент времени точка $(u^1, \dots, u^r)$ принадлежала заданному замкнутому множеству $U$. Последнее обстоятельство делает рассматриваемую вариационную задачу неклассической.

Пусть заданы начальное $(x_0^1, \dots, x_0^n)$ и конечное $(x_1^1, \dots, x_1^n)$ состояния объекта (1). Об управлении (2) говорят, что оно реализует цель управления, если найдётся такой момент времени $t_1 \gt t_0$, что решение $(x^1(t), \dots, x^n(t))$ задачи $$\frac{dx^i}{dt}=f^i(x^1, \dots, x^n, u^1(t), \dots, u^r(t)),\quad x^i(t_0)=x_0^i, \ i=1, \dots, n, \quad\tag{3}$$удовлетворяет условию $x^i(t_1)=x_1^i, i=1,\dots,n$. Качество этого управления оценивают значением функционала $$J(u)=\int_{t_0}^{t_1} f^0(x^1(t),\dots,x^n(t),u^1(t),\dots,u^r(t))dt,\quad\tag{4}$$где $f^0(x^1,\dots,x^n, u^1, \dots,u^r)$ – заданная функция. Задача оптимального управления состоит в отыскании такого реализующего цель управления, для которого функционал (4) принимает наименьшее возможное значение. Таким образом, математическая теория оптимального управления – это раздел математики, в котором рассматриваются неклассические вариационные задачи отыскания экстремумов функционалов на решениях уравнений, описывающих управляемые объекты, и управлений, на которых реализуются экстремумы.

Для этих задач справедливо следующее необходимое условие оптимальности управления.

Принцип максимума Понтрягина. Пусть вектор-функция $$u=u(t)=(u^1(t),\dots,u^r(t)), \quad t_0 \leq t \leq t_1, \quad\tag{5}$$ – оптимальное управление, а вектор-функция $$x=x(t)=(x^1(t),\dots,x^n(t)), \ \ \ \ t_0 \leq t \leq t_1,$$– соответствующее ему решение задачи (3). Рассматривают вспомогательную линейную систему обыкновенных дифференциальных уравнений $$\frac{d\psi_k}{dt}=-\sum^n_{v=0}\frac{\partial f^v(x(t),u(t))}{\partial x^k}\psi_v,\quad k=0,1,\dots,n, \quad\tag{6}$$ и функцию $$H(\psi,x,u)=\sum^n_{v=0}\psi_v f^v(x,u),$$зависящую, помимо $x$ и $u$, от вектора $\psi=(\psi_0, \psi_1,\dots,\psi_n)$. Тогда у линейной системы (6) существует такое нетривиальное решение $$\psi=\psi(t)=(\psi_0(t), \psi_1(t), \dots, \psi_n(t)),\ \ \ \ t_0 \leq t \leq t_1,$$что для всех значений $t$ из отрезка $[t_0,t_1]$, в которых функция (5) непрерывна, выполнено соотношение $$\max_{u \in U}H(\psi(t), x(t), u)=H(\psi(t),x(t),u(t))=0,$$причём $\psi_0(t)$ – постоянная, не превосходящая нуля.

К виду (1) обычно приводятся уравнения движения в случае управляемых механических объектов с конечным числом степеней свободы. В многочисленных реальных ситуациях возникают и иные постановки задач оптимального управления, отличающиеся от приведённых выше: задачи с фиксированным временем, когда продолжительность процесса заранее задана; задачи со скользящими концами, когда про начальное и конечное состояния известно лишь, что они принадлежат некоторым множествам; задачи с фазовыми ограничениями, когда решение задачи (3) в каждый момент времени должно принадлежать фиксированному замкнутому множеству, и др. В задачах механики сплошных сред характеризующая состояние управляемого объекта величина $x$ является функцией не только времени, но и пространственных координат (например, величина $x$ может описывать распределение температуры в теле с течением времени), а закон движения будет дифференциальным уравнением с частными производными или интегро-дифференциальным уравнением. Часто приходится рассматривать управляемые объекты в случае, когда независимая переменная принимает дискретные значения, а закон движения представляет собой систему конечно-разностных уравнений. Наконец, отдельную теорию составляет оптимальное управление стохастическими объектами.