Топологи́ческая гру́ппа, множество $G$, на котором заданы две структуры – группы и топологического пространства, согласованные условием непрерывности групповых операций. А именно, отображение $(a,b)\mapsto ab^{-1}$прямого произведения $G\times G$ в $G$ должно быть непрерывным. Подгруппа $H$ топологической группы $G$ является топологической группой в индуцированной топологии. Факторпространство $G/H$ смежных классов снабжается фактортопологией относительно канонического отображения группы $G$ на $G/H$. Если $H$ – нормальный делитель топологической группы $G$, то $G/H$ (факторгруппа группы $G$ по $H$) – топологическая группа.

Примеры топологических групп: векторная группа $\mathbb{R}^{n}$ – прямое произведение $n$ экземпляров аддитивной группы $\mathbb{R}$ действительных чисел с естественной топологией; окружность $\mathbb{R}/\mathbb{Z}$ – факторгруппа группы $\mathbb{R}$ по подгруппе целых чисел $\mathbb{Z}$; каждая группа Ли; произвольная абстрактная группа, снабжённая дискретной топологией; произвольное топологическое векторное пространство.

Как правило, пространства топологических групп предполагаются хаусдорфовыми. Факторпространство $G/H$ хаусдорфово тогда и только тогда, когда подгруппа $H$ замкнута в $G$ (в дальнейшем все рассматриваемые подгруппы будут предполагаться замкнутыми). Факторпространство $G/H$ смежных классов регулярно. Однако существуют топологические группы, пространства которых не являются нормальными (Граев. 1950).

Топологическая группа называется связной, вполне несвязной, компактной, локально компактной и т. п., если соответствующим свойством обладает её топологическое пространство. Связная компонента единицы $G^{\circ}$ топологической группы $G$ является нормальным делителем в $G$; $G^{\circ}$ – наибольшая связная замкнутая подгруппа в $G$. Факторгруппа $G/G^{\circ}$ вполне несвязна. Локально компактная вполне несвязная группа обладает открытой компактной подгруппой. Если $G$ – компактная вполне несвязная группа, то в каждой её окрестности единицы содержится открытая нормальная в $G$ подгруппа. Отсюда вытекает совпадение класса компактных вполне несвязных групп с классом проконечных групп, которые играют важную роль в теории Галуа, появляясь там в качестве групп Галуа бесконечных расширений полей, снабженных топологией Крулля.

На всякой топологической группе естественным образом определяется структура равномерного пространства. А именно, левая групповая равномерная структура на топологической группе $G$ задается совокупностью множеств

$$L(U)=\left\{(x, y)\in G\times G \mid x^{-1} y \in U\right\},$$где $U$ пробегает систему окрестностей единицы группы $G$; правая равномерная структура определяется симметрично. Топология получающегося равномерного пространства совпадает с исходной топологией группы. Существование равномерной структуры на топологической группе позволяет ввести и использовать понятия равномерной непрерывности (например, для действительнозначных функций на топологической группе), последовательности Коши, полноты и пополнения. Локально компактная топологическая группа полна в своей равномерной структуре. Следствием этого является тот факт, что локально компактная подгруппа хаусдорфовой топологической группы всегда замкнута. Существуют, однако, топологические группы, которые даже не вкладываются в полные группы.

На каждой локально компактной топологической группе $G$ существует нетривиальная мера $\mu$, инвариантная относительно левых сдвигов (т. е. такая, что для любого измеримого по $\mu$ подмножества $A \subseteq G$ и каждого элемента $x \in G$ подмножество $xA$ измеримо и $\mu(xA)=\mu(A))$. Такая мера называется мерой Хаара; она единственна с точностью до постоянного множителя.

Если топологическая группа $G$ компактна, то мера Хаара инвариантна также относительно правых сдвигов. Кроме того, в этом случае постоянный множитель можно подобрать так, чтобы $\mu(G)=1$; это позволяет рассматривать соответствующий интеграл $\int f(x)\,d \mu(x)$ как среднее значение функции $f(x)$ на $G$. Важнейшие применения меры Хаара относятся к теории непрерывных представлений. Интегрирование по мере Хаара позволило перенести на компактные группы значительную часть теории представлений конечных групп (например, соотношения ортогональности для характеров или для матричных коэффициентов), а также теорему Петера – Вейля, полученную первоначально для групп Ли. Следствием этой теоремы является тот факт, что каждая компактная группа $G$ обладает полной системой конечномерных унитарных представлений (другими словами, для любого отличного от единицы элемента $x\in G$ найдется такое представление $\rho$, что $\rho(x) \neq E$). Существуют локально компактные группы, не имеющие нетривиальных конечномерных представлений.

Содержательные результаты о строении топологических групп известны по существу лишь для локально компактных групп. В случае локально компактных абелевых групп имеет место следующая основная структурная теорема: каждая локально компактная абелева группа $G$ представима в виде прямого произведения $G=\mathbb{R}^n \times H$, где $H$ – группа, обладающая открытой компактной подгруппой $K$. Этот результат является следствием теории двойственности для локально компактных абелевых групп (двойственность Понтрягина). С помощью этой теоремы исследование строения группы $G$ в известном смысле сводится к вопросам о строении дискретных групп $H/K$ и $\widehat{K}$, где $\widehat{K}$ – группа характеров компактной группы $K$, т. е. к вопросам абстрактной теории групп.

Определяющую роль в построении теории топологических групп сыграла пятая проблема Гильберта. Сформулированная в 1900 г. как проблема о локальных группах преобразований, эта проблема была в процессе развития теории топологических групп переосмыслена. Общепринятой стала следующая её формулировка: является ли всякая локально евклидова топологическая группа группой Ли? (Топологическая группа называется локально евклидовой, если она обладает окрестностью единицы, гомеоморфной евклидову пространству $\mathbb{R}^n$, т. е. является топологическим многообразием.) Пятая проблема Гильберта была решена в 1952 г. А. М. Глисоном, Д. Монтгомери и Л. Зиппином (Глушков. 1957). Существенным моментом явилось доказательство следующего критерия лиевости: локально компактная группа $G$ является группой Ли тогда и только тогда, когда $G$ – группа без малых подгрупп (т. е. существует окрестность единицы в $G$, не содержащая нетривиальных подгрупп). Было показано также, что локально компактная группа $G$ с компактной факторгруппой $G/G_{0}$ является проективным пределом групп Ли (или, эквивалентно, в каждой окрестности единицы группы $G$ содержится нормальный делитель $N$ с факторгруппой $G/N$, являющейся группой Ли). Каждая окрестность единицы произвольной локально компактной группы содержит открытое подмножество вида $K\times L$, где $K$ – компактная подгруппа, $L$ – связная локальная группа Ли.

Проективная лиевость локально компактных групп $G$ с компактными факторгруппами $G/G_{0}$ позволила перенести на такие группы ряд результатов, известных ранее для групп Ли (Платонов В. П., 1966). Например, каждая компактная подгруппа из $G$ содержится в некоторой максимальной компактной подгруппе; любые две максимальные компактные подгруппы группы $G$ сопряжены. Далее, если $K$ – одна из максимальных компактных подгрупп в $G$, то существует такое множество однопараметрических подгрупп $L_{i}\cong \mathbb{R}$, $i=1, \ldots, n$, что отображение, переводящее набор $\left(k, l_{1}, \ldots, l_{n}\right)$ в произведение $k l_{1} \ldots l_{n}$, является гомеоморфизмом группы $K\times L_{1}\times \ldots\times L_{n}$ на $G$.

После решения пятой проблемы Гильберта на первый план выдвинулась задача более детального изучения строения локально компактных групп, обладающих теми или иными дополнительными свойствами. Были исследованы классы групп, выделяемые некоторыми условиями конечности, такими, например, как условие конечности специального ранга, различные варианты условий максимальности и минимальности для подгрупп и т. п. (Чарин. 1966). Была построена теория локально нильпотентных локально компактных групп. Большу́ю часть полученных при этом результатов удалось позднее перенести на более широкий класс локально проективно нильпотентных групп (Платонов. 1967).