Ортогона́льная гру́ппа, группа всех линейных преобразований $n$-мерного векторного пространства $V$ над полем $k$, сохраняющих фиксированную невырожденную квадратичную форму $Q$ на $V$ [т. е. таких линейных преобразований $\varphi$, что $Q(\varphi(v))=Q(v)$ для любого $v \in V$]. Ортогональная группа принадлежит к числу классических групп. Элементы ортогональной группы называются ортогональными (относительно $Q$) преобразованиями $V$, a также автоморфизмами формы $Q$. Пусть, далее, $\operatorname{char}k \neq 2$ (об ортогональной группе над полями характеристики $2$ (Дьёдонне. 1974; O'Meara. 1963) и $f$ – связанная с $Q$ невырожденная симметрическая билинейная форма на $V$, определённая формулой

$$f(v, u)=\frac{1}{2}(Q(v+u)-Q(v)-Q(u)) .$$Тогда ортогональная группа состоит в точности из тех линейных преобразований пространства $V$, которые сохраняют $f$, и обозначается через $O_n(k, f)$ или (когда ясно о каком поле $k$ и форме $f$ идёт речь) просто через $O_n$. Если $B$ – матрица $f$ в каком-либо базисе пространства $V$, то ортогональная группа может быть отождествлена с группой всех таких $(n \times n)$-матриц $A$ с коэффициентами в $k$, что $A^{\top} B A=B$(${ }^{\top}$ – транспонирование).

Описание алгебраического строения ортогональных групп составляет предмет классических исследований. Определитель любого элемента из $O_n$ равен $1$ или $-1$. Элементы с определителем $1$ называются вращениями; они образуют в ортогональной группе нормальный делитель $O_n^{+}(k, f)$ (или просто $O_n^{+}$) индекса $2$, называемый группой вращений. Элементы из $O_n-O_n^{+}$ называются переворачиваниями. Всякое вращение (переворачивание) является произведением чётного (нечётного) числа отражений из $O_n$.

Пусть $Z_n$ – группа всех гомотетий $\varphi_\alpha: v \mapsto \alpha v$, $\alpha \in k, \alpha \neq 0$, пространства $V$. Тогда $O_n \cap Z_n$ – это центр $O_n$; он состоит из двух элементов: $\varphi_1$ и $\varphi_{-1}$. Если $n$ нечётно, то $O_n$ является прямым произведением своего центра и $O_n^{+}$. Центр $O_n^{+}$ при $n \geqslant 3$ тривиален, если $n$ нечётно, и совпадает с центром $O_n$, если $n$ чётно. Если же $n=2$, то группа $O_n^{+}$ коммутативна и изоморфна либо мультипликативной группе $k^*$ поля $k$ (в случае, когда индекс Витта $\nu$ формы $f$ равен $1$), либо группе элементов с нормой $1$ в поле $k(\sqrt{-\Delta})$, где $\Delta$ – дискриминант формы $f$ (в случае, когда $\nu=0$). Коммутант группы $O_n(k, f)$ обозначается через $\Omega_n(k, f)$ или просто $\Omega_n$; он порождается квадратами элементов из $O_n$. При $n \geqslant 3$ коммутант группы $O_n^{+}$ совпадает с $\Omega_n$. Центр группы $\Omega_n$ имеет вид $\Omega_n \cap Z_n$.

Классическими группами, связанными с ортогональными группами, являются также канонические образы $O_n^{+}$ и $\Omega_n$ в проективной группе; они обозначаются $P O_n^{+}(k, f)$ и $P \Omega_n(k, f)$ (или просто $P O_n^{+}$и $\left.P \Omega_n\right)$ и изоморфны соответственно $O_n^{+} /\left(O_n^{+} \cap Z_n\right)$ и $\Omega_n /\left(\Omega_n \cap Z_n\right)$.

Основные классические факты об алгебраической структуре ортогональной группы относятся к описанию последовательных факторов следующего ряда нормальных делителей в ортогональной группе

$$O_n \supset O_n^{+} \supset \Omega_n \supset \Omega_n \cap Z_n \supset\{e\} \text {. }$$Группа $O_n / O_n^{+}$ имеет порядок $2$. Всякий элемент в $O_n / \Omega_n$ имеет порядок $2$, ввиду чего строение этой группы полностью определяется кардинальным числом её элементов, которое может быть либо бесконечным, либо конечным вида $2^a$, $a$ – целое. Описание остальных факторов существенно зависит от того, отличен ли от нуля индекс Витта $\nu$ формы $f$.

Пусть сначала $\nu \geqslant 1$. Тогда $O_n^{+} / \Omega_n \approx k^* / k^*2$ при $n \geqslant 2$. Этот изоморфизм определён спинорной нормой, которая задаёт эпиморфизм $O_n^{+}$ на $k^* / k^{*^2}$ с ядром $\Omega_n$. Группа $\Omega_n \cap Z_n$ нетривиальна (и состоит из преобразований $\varphi_1$ и $\varphi_{-1}$) тогда и только тогда, когда $n$ чётно и $\Delta \in k^2$. Если $n \geqslant 5$, то группа $P \Omega_n=\Omega_n /\left(\Omega_n \cap Z_n\right)$ проста. Случаи $n=3,4$ рассматриваются отдельно. А именно, $P \Omega_3=\Omega_3$ изоморфна $P S L_2(k)$ (см. Специальная линейная группa) и также проста, если число элементов в $k$ не равно $3$ (группа $O_3^{+}$ изоморфна проективной группе $P G L_2(k)$). При $\nu=1$ группа $P \Omega_4=\Omega_4$ изоморфна группе $P S L_2\left(k(\sqrt{\Delta})\right)$ и проста (в этом случае $\Delta \notin k^2$), а при $\nu=2$ группа $P \Omega_4$ изоморфна $P S L_2(k) \times P S L_2(k)$ и не проста. В частном случае, когда $k=\mathbb{R}$ и $Q$ – форма сигнатуры $(3,1)$, группа $P \Omega_4=\Omega_4 \simeq P S L_2(\mathbb{C})$ называется группой Лоренца.

В случае же, когда $\nu=0$ (то есть $Q$ – анизотропная форма), многие из указанных результатов не верны. Например, если $k=\mathbb{R}$, а $Q$ – положительно определённая форма, то $\Omega_n=O_n^{+}$, хотя $\mathbb{R}^* / \mathbb{R}^{*^2}$ состоит из двух элементов; при $k=Q$, $n=4$, возможен случай, когда $\Delta \in k^2$, но $\varphi_{-1} \notin \Omega_4$. Вообще при $\nu=0$ структура ортогональных групп и связанных с ней групп существенно зависит от $k$. Например, если $k=\mathbb{R}$, то $P O_n^{+}$, $n \geqslant 3$, $n \neq 4$, $v=0$, проста (а $P O_4^{+}$ изоморфна прямому произведению $O_3^{+} \times O_3^{+}$ двух простых групп); если же $k$ – поле $p$-адических чисел, то при $\nu=0$ в $O_3$ (и в $O_4$) существует бесконечный ряд нормальных делителей с абелевыми факторами. Наиболее изучены случаи локально компактного поля и поля алгебраических чисел. Если $k$ – поле $p$-адических чисел, то случай $\nu=0$ невозможен при $n \geqslant 5$. Если же $k$ – поле алгебраических чисел, то такого ограничения нет и один из основных результатов состоит в том, что $P \Omega_n$ при $\nu=0$ и $n \geqslant 5$ проста. В этом случае изучение ортогональных групп тесно связано с теорией эквивалентности квадратичных форм, которая основывается на рассмотрении форм, полученных из $Q$ при расширении $k$ до локальных полей, определённых нормированиями $k$ (принцип Хассе).

Если $k$ – конечное поле $\mathbb{F}_q$ из $q$ элементов, то ортогональная группа является конечной группой. Порядок $O_n^{+}$ при нечётном $n$ равен

$$\left(q^{n-1}-1\right) q^{n-2}\left(q^{n-3}-1\right) q^{n-4} \ldots\left(q^2-1\right) q,$$a при $n=2 m$ равен

$$\left(q^{2 m-1}-\varepsilon q^{m-1}\right)\left(q^{2 m-2}-1\right) q^{2 m-3} \ldots\left(q^2-1\right) q,$$где $\varepsilon=1$ при $(-1)^m \Delta \in \mathbb{F}_q^2$ и $\varepsilon=-1$ в противном случае. Указанные формулы вместе с приведёнными общими фактами об ортогональной группе при $\nu \geqslant 1$ позволяют вычислить также и порядки $\Omega_n$ и $P \Omega_n$, так как $\nu \geqslant 1$ при $n \geqslant 3$, а порядок $k^* / k^{*^2}$ равен $2$. Группа $P \Omega_n$, $n \geqslant 5$, является одной из классических простых конечных групп (см. также Группа Шевалле).

Один из основных результатов об автоморфизмах ортогональных групп состоит в следующем: если $n \geqslant 3$, то всякий автоморфизм $\varphi$ группы $O_n$ имеет вид $\varphi(u)=\chi(u) gug^{-1}$, $u \in O_n$, где $\chi$ – фиксированный гомоморфизм $O_n$ в её центр, а $g$ – фиксированное биективное полулинейное отображение $V$ в себя, удовлетворяющее условию $Q(g(v))=r_g Q^\sigma(v)$ для всех $v \in V$, где $r_g \in k^*$, а $\sigma$ – связанный c $g$ автоморфизм $k$. Если $\nu\geqslant 1$ и $n \geqslant 6$, то всякий автоморфизм $O_n^{+}$ индуцирован автоморфизмом $O_n$ (Дьедонне. 1974; Автоморфизмы классических групп. 1976).

Так же, как и другие классические группы, ортогональная группа допускает (при некоторых предположениях) геометрическую характеризацию. А именно, пусть $Q$ – такая анизотропная формa, что $Q(v) \in k^2$ для любого $v \in V$. В этом случае $k$ пифагорово упорядочиваемое поле. При фиксированном упорядочении поля $k$ $n$-мерной цепью инцидентных полупространств в $V$ называется любая последовательность $\left(H_s\right)_{1 \leqslant s \leqslant n}$, построенная по линейно независимой системе векторов $\left(h_s\right)_{1 \leqslant s \leqslant n}$, где $H_s$ – множество всех линейных комбинаций вида $\sum_{j=1}^s \lambda_j h_j, \lambda_s \geqslant 0$. Группа $O_n$ обладает свойством свободной подвижности, то есть для любых двух $n$-мерных цепей полупространств существует единственное преобразование из $O_n$, переводящее первую цепь во вторую. Это свойство характеризует ортогональную группу: если $L$ – любое упорядоченное тело и $G$ – подгруппа в $G L_n(L), n \geqslant 3$, обладающая свойством свободной подвижности, то $L$ является пифагоровым полем, а $G=O_n(L, f)$, где $f$ такая анизотропная симметрическая билинейная форма, что $f(v, v) \in L^2$ для любого вектора $v$.

Пусть $\bar{k}$ – фиксированное алгебраическое замыкание поля $k$. Форма $f$ естественно продолжается до невырожденной симметрической билинейной формы $\bar{f}$ на $V \otimes_k \bar{k}$, а ортогональная группа $O_n(\bar{k}, f)$ является определённой над $k$ линейной алгебраической группой с группой $k$-точек $O_n(k, f)$. Определяемые таким образом (для разных $f$) линейные алгебраические группы изоморфны над $\bar{k}$ (но, вообще говоря, не над $k$); соответствующая линейная алгебраическая группа над $\bar{k}$ называется ортогональной алгебраической группой $O_n(\bar{k})$. Её подгруппа $O_n^{+}(\bar{k}, \bar{f})$ также является линейной алгебраической группой над $k$ и называется собственно ортогональной, или специально ортогональной, алгебраической группой (обозначение: $S O_n(\bar{k})$); она является связной компонентой единицы группы $O_n(\bar{k})$. Группа $S O_n(\bar{k})$ – почти простая алгебраическая группа (то есть не содержащая ненульмерных алгебраических нормальных делителей) типа $B_s$ при $n=2 s+1$, $s \geqslant 1$, и типа $D_s$ при $n=2 s, s \geqslant 3$. Универсальной накрывающей группы $S O_n$ является спинорная группа.

Если $k=\mathbb{R}$, $\mathbb{C}$ или $p$-адическое поле, то $O_n(k, f)$ естественно снабжается структурой вещественной, комплексной или $p$-адической аналитической группы. Группа Ли $O_n(\mathbb{R}, f)$ определяется с точностью до изоморфизма сигнатурой формы $f$; если эта сигнатура имеет вид $(p, q), p+q=n$, то $O_n(\mathbb{R}, f)$ обозначается через $O(p,q)$ и называется псевдоортогональной группой. Её можно отождествить с группой Ли всех действительных $(n \times n)$-матриц $A$, удовлетворяющих условию

$$A^{\top} I_{p, q} A=I_{p, q}, \text { где } I_{p, q}=\left\|\begin{array}{cc} 1_p & 0 \\ 0 & -1_q \end{array}\right\|$$(через $1_s$ обозначена единичная $(s \times s)$-матрица); алгебра Ли этой группы отождествляется с алгеброй Ли всех действительных $(n \times n)$-матриц $X$, удовлетворяющих условию $X^{\top} I_{p,q}=-I_{p,q}, X$. В частном случае $q=0$ группа $O(p, q)$ обозначается через $O(n)$ и называется вещественной ортогональной группой; её алгебра Ли состоит из всех кососимметрических действительных $(n \times n)$-матриц. Группа Ли $O(p, q)$ имеет четыре компоненты связности при $q \neq 0$ и две компоненты связности при $q=0$. Связной компонентой единицы является её коммутант, который при $q=0$ совпадает с подгруппой $S O(n)$ в $O(n)$, состоящей из всех преобразований с определителем, равным $1$. Группа $O(p, q)$ компактна только при $q=0$. Инварианты $S O(n)$ как топологические многообразия достаточно подробно изучены. Один из классических результатов в этом направлении – вычисление чисел Бетти многообразия $S O(n)$: его полином Пуанкаре имеет вид

$$\prod_{s=1}^m\left(1+t^{4 s-1}\right)$$при $n=2 m+1$ и вид

$$\left(1+t^{2 m-1}\right)\prod_{s=1}^{m-1}(1+t^{4 s-1})$$при $n=2 m$. Фундаментальная группа многообразия $S O(n)$ есть $\mathbb{Z}_2$. Вычисление высших гомотопических групп $\pi_l(S O(n))$ имеет непосредственное отношение к классификации локально тривиальных главных $S O(n)$ расслоений над сферами. Важную роль в топологической K-теории играет теорема периодичности, согласно которой при $N \gg n$ имеют место изоморфизмы

$$\pi_{n+8}(O(N)) \simeq \pi_n(O(N)),\quad \pi_n(O(N)) \simeq \mathbb{Z}_2,$$если $n=0,1$;
$$\pi_n(O(N)) \simeq \mathbb{Z},$$если $n=3,7$, и

$$\pi_n(O(N))=0,$$если $n=2,4,5,6$. Изучение топологии группы $O(p, q)$ по существу сводится к предыдущему случаю, так как связная компонента единицы группы $O(p, q)$ диффеоморфна произведению $S O(p) \times S O(q)$ на евклидово пространство.