Нильпоте́нтная а́лгебра Ли, алгебра Ли $\mathfrak{g}$ над полем $K$, удовлетворяющая одному из следующих эквивалентных условий:

1) существует конечная убывающая цепочка идеалов $\left\{\mathfrak{g}_i\right\}_{0 \leqslant i \leqslant n}$ алгебры $\mathfrak{g}$ таких, что $\mathfrak{g}_0=\mathfrak{g}$, $\mathfrak{g}_n=\{0\}$ и $\left[\mathfrak{g}, \mathfrak{g}_i\right] \subset \mathfrak{g}_{i+1}$ для $0 \leqslant i<n$;

2) $C^{k}\mathfrak{g}=\{0\}$ (аналогично $C_k \mathfrak{g}=\{0\}$) для достаточно большого $k$, где $C^k \mathfrak{g}$ и $C_k \mathfrak{g}$ – члены соответственно нижнего и верхнего центральных рядов;

3) существует такое $k$, что $\operatorname{ad} x_1 \ldots \operatorname{ad} x_k=0$ для любых $x_1, \ldots, x_k \in \mathfrak{g}$.

Абелева алгебра нильпотентна. Если $V$ – конечномерное векторное пространство над $K$, a $F=\left\{V_i\right\}$ – флаг в нём, то

$$\mathfrak{n}(F)=\left\{x \in\operatorname{End} V \mid x V_i \subset V_{i-1}\,\,\text{ для всех }\,\, i \geqslant 1\right\}$$является нильпотентной подалгеброй в алгебре Ли $\mathfrak{g l}(V)$ всех линейных преобразований пространства $V$. Если в $V$ выбрать базис, согласованный с флагом $F$, то в нём элементы алгебры $\mathfrak{n}(F)$ представятся верхними треугольными матрицами с нулями на главной диагонали. Если $F$ – полный флаг (т. е. $\operatorname{dim} V_k=k$), то соответствующая матричная нильпотентная алгебра Ли $\mathfrak{n}(m, k)$ состоит из всех верхних треугольных матриц порядка $m = \operatorname{dim} V$ с нулями на главной диагонали.

Для любой неодномерной нильпотентной алгебры Ли коразмерность её коммутатора $\operatorname{codim} [\mathfrak{g}, \mathfrak{g}] \geqslant 2$. В частности, если $\operatorname{dim} \mathfrak{g} \leqslant \mathfrak{g}2$, то $\mathfrak{g}$ абелева. Единственная неабелева трёхмерная нильпотентная алгебра Ли $\mathfrak{g}$ изоморфна $\mathfrak{n}(3, K)$. Нильпотентные алгебры Ли перечислены ещё в нескольких малых размерностях (для $\operatorname{dim} \mathfrak{g}\leqslant 7$ при $K=C$).

Нильпотентные алгебры Ли (ранее их называли специальными алгебрами Ли, или алгебрами Ли ранга 0) встретились уже на первых шагах исследований C. Ли по интегрированию дифференциальных уравнений. Классификация Ли разрешимых алгебр сведена в некотором смысле к перечислению нильпотентных алгебр Ли. В произвольной конечномерной алгебре Ли существует наибольший нильпотентный идеал (нильрадикал в терминологии Джекобсон. 1964). Рассматривается и другой нильпотентный идеал – пересечение ядер неприводимых конечномерных представлений (нильпотентный радикал) (cм.: Бурбаки. 1976; Теория алгебр Ли. Топология групп Ли. 1962). Если $\mathfrak{r}$ – радикал алгебры $\mathfrak{g}$, то нильпотентный радикал $\mathfrak{n}$ совпадает с

$$[\mathfrak{g}, \mathfrak{r}]=[\mathfrak{g}, \mathfrak{g}] \cap \mathfrak{r}.$$Факторалгебра $\mathfrak{g} / \mathfrak{n}$ редуктивна и $\mathfrak{n}$ есть минимальный из идеалов, обладающих этим свойством. В случае $\operatorname{char} K=0$ нильрадикал состоит из всех таких $x \in \mathfrak{r}$, что $\operatorname{ad}x$ нильпотентен.

При изучении редуктивной алгебры Ли $\mathfrak{g}$ над $\mathbb{C}$ естественно возникают её нильпотентные подалгебры, являющиеся нильпотентными радикалами в параболических подалгебрах алгебры $\mathfrak{g}$. В случае $\mathfrak{g}=\mathfrak{gl}(V)$ эти нильпотентные подалгебры совпадают с рассмотренными выше подалгебрами $\mathfrak{n}(F)$. Нильпотентный радикал борелевской подалгебры (см. в статье Подгруппа Бореля) в $\mathfrak{g}$ есть максимальная подалгебра в $\mathfrak{g}$, состоящая из нильпотентных элементов, – единственная с точностью до сопряжённости. Более широкий класс нильпотентных алгебр Ли образуют произвольные идеалы параболических подалгебр алгебры $\mathfrak{g}$, состоящие из нильпотентных элементов. В случае $\mathfrak{g}= \mathfrak{g l}(V)$ эти нильпотентные алгебры Ли были классифицированы в (Гуревич. 1954) (стандартные нуль-алгебры), а в общем случае – в (Хакимджанов. 1974).

Центр нильпотентной алгебры Ли нетривиален, и любая нильпотентная алгебра Ли может быть получена рядом центральных расширений с помощью нильпотентных алгебр Ли. Класс нильпотентных алгебр Ли замкнут относительно перехода к подалгебре, факторалгебре, центральному расширению и конечной прямой сумме. В частности, любая подалгебра в $\mathfrak{n}(m, K)$ нильпотентна. Обратно, произвольная конечномерная нильпотентная алгебра Ли изоморфна подалгебре в $\mathfrak{n}(m, K)$ при некотором $m$ (если $\operatorname{char} K=0$) – это частный случай теоремы Адо (см.: Бурбаки. 1976; Джекобсон. 1964).

Если $\mathfrak{g}$ – произвольная конечномерная алгебра Ли, то любой её нильпотентный идеал ортогонален ей относительно формы Киллинга, в частности для нильпотентной алгебры Ли эта форма тривиальна.

Одной из основных в теории нильпотентных алгебр Ли является теорема Энгеля: если $\rho: \mathfrak{g} \rightarrow \mathfrak{gl} (V)$ – конечномерное представление нильпотентной алгебры Ли $\mathfrak{g}$, причём $\rho(x)$ нильпотентно для любого $x \in \mathfrak{g}$, то существует такой полный флаг $F$, что $\rho(\mathfrak{g}) \subset \mathfrak{n}(F)$. Из теоремы Энгеля следует, что конечномерная алгебра Ли $\mathfrak{g}$ нильпотентна тогда и только тогда, когда $\operatorname{ad}^n x=0$ при некотором $n$ и всех $x \in \mathfrak{g}$, т. е. когда любой $x \in \mathfrak{g}$ является нильпотентным элементом.

В теореме Энгеля содержится описание нильпотентных представлений нильпотентных алгебр Ли; описание произвольных конечномерных представлений принадлежит Х. Цассенхаузу (см.: Джекобсон. 1964): если поле $K$ алгебраически замкнуто, а $V$ – конечномерный $\mathfrak{g}$-модуль, то $V=\bigoplus_{i=1}^n V_i$, где подмодули $V_i$ таковы, что ограничение действия любого $x \in \mathfrak{g}$ на них есть сумма скалярного и нильпотентного операторов. Если $V$ – конечномерное векторное пространство над полем $K$ характеристики 0, то любая алгебраическая нильпотентная алгебра Ли $\mathfrak{g} \subset \mathfrak{gl}(V)$ имеет вид $\mathfrak{g} = \mathfrak{a} +\mathfrak{n}$, где $\mathfrak{a}$ и $\mathfrak{n}$ – идеалы, состоящие соответственно из полупростых и нильпотентных линейных преобразований, принадлежащих алгебре $\mathfrak{g}$ (Шевалле. 1958).