Унита́рная гру́ппа относительно формы $f$, группа $U_n(K, f)$ всех линейных преобразований $\varphi$ $n$-мерного правого линейного пространства $V$ над телом $K$, сохраняющих фиксированную невырожденную полуторалинейную (относительно инволюции $J$ тела $K$) форму $f$ на $V$, т. е. таких $\varphi$, что

$$f(\varphi(v), \varphi(u))=f(v, u) \quad \forall v, u \in V.$$Унитарная группа принадлежит к числу классических групп. Частными случаями унитарной группы являются симплектическая группа (в этом случае $K$ – поле, $J=1$ и $f$ – знакопеременная билинейная форма) и ортогональная группа ($K$ – поле, $\operatorname{char} K \neq 2$, $J=1$, $f$ – симметрическая билинейная форма). Далее, пусть $J \neq 1$ и $f$ обладает свойством $(T)$ (см. Теорема Витта). Умножая $f$ на подходящий скаляр, можно, не меняя унитарной группы, добиться того, чтобы $f$ стала эрмитовой формой; а меняя, сверх того, $J$, – чтобы $f$ стала косоэрмитовой формой.

Если исключить случай $n=2$, $K=\mathbb{F}_4$, то всякий элемент унитарной группы $U_n(K, f)$ является произведением не более чем $n+1$ квазиотражений (т. е. преобразований, оставляющих на месте все элементы какой-либо неизотропной гиперплоскости в $V$). Центр $Z_n$ унитарной группы $U_n(K, f)$ состоит из всех гомотетий пространства $V$ вида $x \mapsto x \gamma$, $\gamma \in K$, $\gamma^J \gamma=1$.

Пусть $\nu$ – индекс Витта формы $f$. Если $\nu \neq 0$, то удобно считать $f$ косоэрмитовой. Пусть $T_n(K, f)$ – нормальный делитель в $U_n(K, f)$, порождённый унитарными сдвигами, т. е. линейными преобразованиями вида $x \mapsto x+a \lambda f(a, x)$, где $a$ – изотропный вектор пространства $V$, а $\lambda \in S=\left\{\gamma \in K \mid \gamma^{J}=\gamma \right\}$. Центром группы $T_n(K, f)$ является группа $W_n=T_n(K, f) \cap Z_n$. Факторгруппа $T_n(K, f) / W_n$ проста при $n \geqslant 2$, если $K \neq \mathbb{F}_4$ или $\mathbb{F}_9$. Строение факторгруппы $U_n(K, f) / T_n(K, f)$ описывается следующим образом. Пусть $\Sigma$ – подгруппа мультипликативной группы $K^*$ тела $K$, порождённая $K^* \cap S$, а $\Omega$ – подгруппа в $K^*$, порождённая элементами $\lambda \in K^*$, обладающими следующим свойством: в $V$ существует гиперболическая плоскость (т. е. двумерное неизотропное подпространство, содержащее изотропный вектор) такая, что $f(v, v)=\lambda-\lambda^J$ для некоторого вектора $v \in V$, ортогонального к указанной плоскости. Эти подгруппы являются нормальными в $K^*$. Пусть $\left[K^*, \Omega\right]$ – подгруппа в $K^*$, порождённая коммутаторами $\lambda w \lambda^{-1} w^{-1}$, $\lambda \in K^*$, $w \in \Omega$. Если исключить случай $n=3$, $K=\mathbb{F}_4$, то $U_n(K, f) / T_n(K, f)$ при $n \geqslant 2$ изоморфна $K^* / \Sigma\left[K^*, \Omega\right]$.

Группа $T_n(K, f)$ во многих случаях совпадает с коммутантом унитарной группы $U_n(K, f)$: это верно, например, если $\nu \geqslant 2$. Если $K$ коммутативно и $n \geqslant 2$, то $T_n(K, f)$ совпадает с нормальной подгруппой $U_n^{+}(K, f)$, состоящей из тех элементов, определитель Дьёдонне которых равен $1$ (за исключением случая $n=3$, $K=\mathbb{F}_4$). Соотношения между $U_n(K, f)$, $U_n^{+}(K, f)$ и $T_n(K, f)$ исследованы также в случае, когда тело $K$ имеет конечную размерность над своим центром (Дьёдонне. 1974).

Пусть теперь $\nu=0$. Тогда многие из указанных результатов неверны [имеются примеры унитарных групп, обладающих бесконечным рядом нормальных делителей с абелевыми факторами; примеры унитарных групп, для которых $n=2$ и $U_n^{+}(K, f)$ не совпадает со своим коммутантом и т. п.]. Наиболее изученными являются случаи локально компактного поля характеристики $\neq 2$ и поля алгебраических чисел.

Один из основных результатов об автоморфизмах унитарных групп состоит в следующем (Дьёдонне. 1974): если $\operatorname{char} K \neq 2$, a $n \geqslant 3$, то всякий автоморфизм унитарной группы $U_n(K, f)$ имеет вид $\varphi(u)=\chi(u) g u g^{-1}$, $u \in U_n(K, f)$, где $\chi$ – гомоморфизм $U_n(K, f)$ в её центр $Z_n$, а $g$ – унитарное полуподобие пространства $V$ (т. е. биективное полулинейное отображение $V \rightarrow V$, удовлетворяющее условию $f(g(x), g(y))=r_g(f(x, y))^\sigma$, где $x, y \in V$, $r_g \in K^*$, а $\sigma$ – автоморфизм $K$, связанный с $g$ ). Если $n$ чётно, $n \geqslant 6$, $K$ – поле характеристики $\neq 2$ и $\nu \geqslant 1$, то всякий автоморфизм группы $U_n^{+}(K, f)$ индуцируется автоморфизмом группы $U_n(K, f)$.

Если $K=\mathbb{C}$, $J$ – автоморфизм комплексного сопряжения и эрмитова форма $f$ положительно определена, то унитарная группа $U_n(K, f)$ обозначается через $U_n$; она является компактной вещественной связной группой Ли и часто называется просто унитарной группой. В случае неопределённой формы $f$ группу $U_n(\mathbb{C}, f)$ часто называют псевдоунитарной. С помощью выбора в $V$ базиса $U_n$ отождествляется с группой всех унитарных матриц. Группа $U_n^{+}(K, f)$ в этом случае называется специальной унитарной группой и обозначается через $S U_n$.