Гиперболи́ческое мно́жество гладкой динамической системы $\left\{S^t\right\}$, компактное подмножество $F$ фазового многообразия $M$, целиком состоящее из траекторий, в окрестности каждой из которых поведение (по отношению к ней) всех соседних траекторий (включая и те, которые не лежат в $F$) напоминает поведение траекторий возле седла. Точнее, гиперболическое множество гладкой динамической системы $\left\{S^t\right\}$ – это такое компактное инвариантное подмножество $F$ фазового многообразия $M$, что в каждой точке $x \in F$ в касательном пространстве $T_x M$ к $M$ имеются подпространства $E_x^s$ и $E_x^u$, для которых выполняются следующие 2 условия:

1. Действие дифференциалов $\tilde{S}_x^t: T_x M \rightarrow T_S t_x M$ отображений $S^t: M \rightarrow M$ в точке $x$ на векторы $\xi \in E_X^S$, $\eta \in E_x^u$ удовлетворяет неравенствам (см. в статье Дифференцирование отображений):

$$\begin{aligned} \left|\tilde{S}_{x}^t \xi\right| &\leqslant a|\xi| e^{-c t} \text { при } t \geqslant 0, \\ \left|\tilde{S}_{x}^t \xi\right| &\geqslant b|\xi| e^{-c t} \text { при } t \leqslant 0, \\ \left|\tilde{S}_{x }^t \eta\right| &\leqslant a|\eta| e^{c t} \text { при } t \leqslant 0, \\ \left|\tilde{S}_{x}^t \eta\right| &\geqslant b|\eta| e^{c t} \text { при } t \geqslant 0 \end{aligned}$$с некоторыми константами $a, b, c>0$, не зависящими от $x$.

2. Если $\left\{S^t\right\}$ – каскад (т. е. время $t$ принимает целочисленные значения), то

$$T_x M=E_x^s \oplus E_x^u,$$a если $\left\{S^t\right\}$ – поток, то

$$T_x M=E_x^s \oplus E_x^u \oplus E_x^n,$$где $E_x^n$ – одномерное подпространство, натянутое на вектор фазовой скорости (тем самым предполагается, что последний нигде на $F$ не обращается в нуль). Кроме того, для удобства некоторых формулировок бывает целесообразно причислить к гиперболическому множеству такие положения равновесия потоков, для которых собственные значения матрицы линеаризованной системы расположены вне мнимой оси.

Подпространство $E_x^s$ называется устойчивым, $E_x^u$ – неустойчивым, $E_x^n$ – нейтральным. Точки $y \in M$, для которых $S^t y$ неограниченно сближается c $S^t x$ при $t \rightarrow \infty$, образуют некоторое гладкое многообразие $W_x^s$, касающееся $E_x^s$ в точке $x$; оно называется устойчивым многообразием точки $x$. Объединение $W_x^s$ для всех $x$, лежащих на одной траектории, называется устойчивым многообразием этой траектории. Аналогично вводятся неустойчивые многообразия точки и траектории.

Классический пример гиперболического множества потока – периодическая траектория, для которой лишь один мультипликатор уравнения в вариациях равен по модулю единице. У некоторых систем всё фазовое пространство является гиперболическим множеством (см. в статье У-система). Много примеров гиперболических множеств было обнаружено при изучении динамических систем классического происхождения (например, в небесной механике; Кушниренко. 1972). В общем виде гиперболические множества были введены C. Смейлом в 1965 г. (Смейл. 1970), и с тех пор они играют важную роль в теории гладких динамических систем, будучи как объектом исследования, так и составной частью многих примеров (Нитецки. 1975).