Гамильто́нова систе́ма, система обыкновенных дифференциальных уравнений для $2n$ неизвестных $p=\left(p_{1}, \ldots, p_{n}\right)$ («обобщённые импульсы») и $q= \left(q_{1}, \ldots, q_{n}\right)$ («обобщённые координаты»), имеющая вид:

$$\frac{d p_{i}}{d t}=-\frac{\partial H}{\partial q_{i}}, \quad \frac{d q_{i}}{d t}=\frac{\partial H}{\partial p_{i}}, \quad i=1, \ldots, n, \tag{1}$$где $H$ – некоторая функция от $(p, q, t)$, называемая функцией Гамильтона, или гамильтонианом, системы (1). Гамильтоновы системы называются также каноническими, а в автономном случае (когда $H$ не зависит явно от $t$) иногда и консервативными системами, поскольку в этом случае функция $H$ (имеющая во многих примерах физический смысл энергии) является первым интегралом (т. е. энергия сохраняется при движении).

В механике гамильтоновы системы описывают движение при голономных связях и силах, имеющих потенциал (см. Уравнения Гамильтона). Многие задачи теоретической физики также приводят к гамильтоновым системам или к таким уравнениям с частными производными, которые имеют близкие свойства и могут рассматриваться как бесконечномерные аналоги гамильтоновых систем. Уравнениям квантовой механики можно придать вид гамильтоновых систем, в которых, однако, $p_{i}(t)$ и $q_{i}(t)$ являются не числовыми функциями времени, а (зависящими от $t$) самосопряжёнными линейными операторами, удовлетворяющими определённым перестановочным соотношениям. Гамильтоновы системы (в обычном смысле слова) играют важную роль при исследованиях некоторых асимптотических задач для уравнений с частными производными (коротковолновая асимптотика для волнового уравнения, квазиклассическая асимптотика в квантовой механике).

Тесно связаны с гамильтоновыми системами различные вариационные принципы. Принцип Гельмгольца (см., например, Леви-Чивита. 1951) непосредственно приводит к гамильтоновой системе, однако он употребляется редко. Наибольшее значение имеет принцип Гамильтона – Остроградского (принцип стационарного действия), который непосредственно приводит к уравнениям Лагранжа; при выполнении некоторых дополнительных условий типа невырожденности от последних можно перейти к гамильтоновым системам с помощью преобразования Лежандра (см. Функция Гамильтона, Уравнения Гамильтона), если в вариационный принцип входят производные только 1-го порядка. Несколько сложнее осуществляется предложенный М. В. Остроградским переход к гамильтоновым системам в том случае, когда вариационный принцип содержит производные порядка выше первого (см., например, Уиттекер. 1937).

Если $H$ не зависит явно от $q_{i}$, то $p_{i}= \operatorname{const}$ – первый интеграл. В этом случае координату $q_{i}$ называют циклической (в некоторых случаях она имеет физический или геометрический смысл угловой переменной), или игнорируемой. Такую координату $q_{i}$ и соответствующий ей импульс $p_{i}$ можно исключить и тем самым перейти к гамильтоновым системам с меньшим числом неизвестных. Более общо, при наличии $k$ независимых первых интегралов в инволюции возможно понижение порядка гамильтоновых систем на $2 k$ (по крайней мере, в некоторой области изменения переменных и с заменой времени), и при этом снова получается гамильтонова система. Если все координаты циклические, то гамильтонова система называется (вполне) интегрируемой; нахождение её решений и качественное исследование их свойств уже не требует решения дифференциальных уравнений.

Первые интегралы гамильтоновых систем часто получаются из теоремы Нётер: если функция Лагранжа (или лагранжиан) инвариантна относительно некоторой непрерывной группы преобразований, то соответствующая гамильтонова система имеет первые интегралы определённого вида (см., например, Арнольд. 1974). Другое общее соображение, позволяющее иногда проинтегрировать гамильтонову систему, состоит в переходе к вспомогательному уравнению с частными производными – т. н. уравнению Гамильтона – Якоби (см. Теория Гамильтона – Якоби). Посредством разделения переменных в подходящих координатах иногда удаётся найти полный интеграл последнего, тогда теорема Якоби позволяет сравнительно легко проинтегрировать гамильтонову систему. [Связь между гамильтоновой системой и уравнением Гамильтона – Якоби является двусторонней: решение последнего сводится к интегрированию соответствующей гамильтоновой системы. Исторически эта связь вместе с аналогией между механикой и геометрической оптикой (см. Парс. 1971. С. 548) способствовала открытию гамильтоновой системы (принцип Гюйгенса в оптике сразу приводит к уравнению эйконала – уравнению типа уравнения Гамильтона – Якоби)].

Для гамильтоновых систем, близких к интегрируемым, разработаны специфические методы приближённого интегрирования и качественного исследования свойств решений. Родственные методы служат также для исследования поведения траекторий гамильтоновых систем в окрестности положений равновесия, периодических или квазипериодических решений. Могут использоваться и методы, не связанные специально с гамильтоновыми системами, однако и тогда специфика гамильтоновых систем может позволить упростить вычисления или, наоборот, усложнить задачу (поскольку с точки зрения общего метода гамильтоновы системы могут оказаться «исключительными» – так, например, обстоит дело с устойчивостью). См. в статьях Адиабатический инвариант, Метод малого параметра, Малые знаменатели, Осреднение.

Пусть $\varphi_{t}(z)$ – решение гамильтоновой системы (1), проходящее при $t=0$ через точку $z=(p, q) \in \mathbb{R}^{2 n}$. Гамильтонова система однозначно характеризуется тем, что (локальные) диффеоморфизмы $\varphi_{t}$ переводят внешнюю дифференциальную форму

$$\omega =\sum_{i=1}^{n} d p_{i} \wedge d q_{i} \tag{2}$$(т. н. интегральный инвариант Пуанкаре) снова в $\omega$; этот факт в других терминах отмечался ещё М. В. Остроградским и Г. Гельмгольцем; последний говорил о «свойстве взаимности» (см. Леви-Чивита. 1951). Диффеоморфизмы, сохраняющие $\omega$, называются каноническими преобразованиями (или каноническими заменами переменных); они не только естественно возникают из гамильтоновой системы, но и переводят любую гамильтонову систему снова в гамильтонову систему. (Последним свойством обладают и обобщённые канонические преобразования, переход к которым, впрочем, не является особенно существенным расширением рассматриваемого класса преобразований.) При этом гамильтониан новой системы легко выражается через исходный гамильтониан и производящую функцию $S$ канонического преобразования (которое удобно задавать именно с помощью $S$). Таким образом, имея дело с гамильтоновой системой и производя каноническую замену переменных, можно производить вычисления всего с двумя функциями $H$ и $S$ (тогда как в общем случае замены переменных в системе дифференциальных уравнений пришлось бы рассматривать гораздо больше функций); в этом состоит т. н. канонический формализм, существенно упрощающий вычисления в пределах своей применимости. Он широко используется в небесной механике и теоретической физике.

Определение гамильтоновой системы в терминах интегрального инварианта приводит к естественному обобщению, когда вместо формы (2) в $\mathbb{R}^{2 n}$ речь идёт о заданной на некотором многообразии $M$ чётной размерности $2 n$ внешней дифференциальной форме $\omega$ 2-го порядка, причём $\omega$ замкнута (внешний дифференциал $d \omega=0$) и всюду $\omega^{n} = \omega \wedge \ldots \wedge \omega \neq 0$ (тогда говорят, что на $M$ задана симплектическая структура). Ещё более общей является трактовка гамильтоновой системы не как динамической системы, а как конгруэнции, когда траектории рассматривают просто как семейство линий с определёнными свойствами и не обращают внимания на скорость движения по ним. [Систему (1) можно включить в эту схему, рассматривая графики решений $p=p(t)$, $q=q(t)$ в пространстве $(p, q, t)$; при этом вместо (2) большую роль играет интегральный инвариант Пуанкаре – Картана $\sum_{i=1}^{n} p_{i} \,d q_{i}-H d t$.] Собственно, когда с помощью первых интегралов понижается порядок гамильтоновой системы (1), то получается гамильтонова система именно в этом обобщённом смысле (Арнольд. 1974).

О свойствах гамильтоновых систем, не являющихся интегрируемыми или близкими к таковым, известно мало (не считая названных выше вопросов о локальном поведении траекторий). Сохранение $\omega$ влечёт сохранение элемента объёма $\omega^{n}$ (теорема Лиувилля; обратное неверно, исключая малые размерности). Поэтому гамильтоновы системы принадлежат к числу систем с инвариантной мерой, изучаемых в эргодической теории.