Оптима́льная траекто́рия, кривая $x(t)$ в $(n+1)$-мерном пространстве переменных $t$, $x^1, \ldots, x^n$, по которой точка $x(t)=\left(x^1(t), \ldots, x^n(t)\right)$, движение которой описывается векторным дифференциальным уравнением

$$\dot{x}=f(t, x, u),\quad f: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^p \longrightarrow \mathbb{R}^n, \tag{1}$$переводится из начального состояния

$$x\left(t_0\right)=x_0 \tag{2}$$в конечное состояние

$$x\left(t_1\right)=x_1 \tag{3}$$под воздействием оптимального управления $u(t)$, доставляющего минимальное значение заданному функционалу

$$J=\int_{t_0}^{t_1} f^0(t, x, u)\, d t,\quad f^0: \mathbb{R} \times \mathbb{R}^n \times \mathbb{R}^r \rightarrow \mathbb{R}. \tag{4}$$На выбор оптимального управления накладывается ограничение

$$u \in U, \tag{5}$$где $U$ – замкнутое множество допустимых управлений, $U \subset \mathbb{R}^p$. Начальный и конечный моменты времени $t_0$ и $t_1$ для определённости предполагаются соответственно фиксированным и свободным.

Аналогичным образом оптимальная траектория определяется для вариационных задач более общего вида по сравнению с (1) – (5), например для задач с подвижными концами и с ограничениями на фазовые координаты. О методах отыскания оптимальной траектории см. в статье Вариационное исчисление; численные методы.

Для автономных задач, в которых функции $f^0, f$ не зависят явно от времени $t$:

$$f^i=f^0(x, u), \quad f=f(x, u),$$более удобным для теории и приложений оказывается понятие фазовой оптимальной траектории. Фазовая оптимальная траектория есть проекция оптимальной траектории на $n$-мерное подпространство фазовых переменных $x^1, \ldots, x^n$. Для автономных задач фазовая оптимальная траектория не зависит от выбора начального момента времени $t_0$.

Исследование множества фазовых оптимальных траекторий, переводящих систему из произвольного начального состояния в заданное конечное состояние (или, наоборот, из заданного начального состояния в произвольное конечное), позволяет решить многие качественные вопросы для рассматриваемой вариационной задачи. Построение множества фазовых оптимальных траекторий является обязательным этапом построения синтеза оптимальных управлений

$$u(t)=v(x(t)),$$обеспечивающего движение по оптимальной траектории в любой точке фазового пространства.