Модуля́рная гру́ппа, группа $\Gamma$ всех дробно-линейных преобразований $\gamma$ вида

$$z \rightarrow \gamma(z)=\frac{a z+b}{c z+d}, \quad a d-b c=1, \tag{1}$$где $a, b, c, d$ – целые рациональные числа. Модулярная группа отождествляется с факторгруппой $\operatorname{SL}_2(\mathbb{Z}) /\{ \pm E\}$, где $E=\left\|\begin{array}{ll}1 & 0 \\ 0 & 1\end{array}\right\|$, и является дискретной подгруппой в группе Ли $\operatorname{PSL}_2(\mathbb{R}) = \operatorname{SL}_2(\mathbb{R}) /\{ \pm E\}$. Здесь $\operatorname{SL}_2(\mathbb{R})$ [соответственно, $\operatorname{SL}_2(\mathbb{Z})$] – группа матриц $\left\| \begin{array}{ll}a & b \\ c & d\end{array}\right\|$, $a, b, c, d$ – действительные (соответственно, целые) числа, $a d-b c=1$. Модулярная группа является дискретной группой преобразований верхней комплексной полуплоскости $H=\{z=x+i y \mid y>0\}$ (плоскости Лобачевского) и допускает представление образующими $T: z \rightarrow z+1$ и $S: z \rightarrow-1 / z$ и соотношениями $S^2=(S T)^3=1$, т. е. является свободным произведением циклической группы порядка $2$, порождённой $S$, и циклической группы порядка $3$, порождённой $S T$ (см. Серр. 1972).

Интерес к модулярной группе связан с изучением модулярных функций, римановой поверхностью которых является факторпространство $H /\Gamma$, отождествляемое с фундаментальной областью $G$ модулярной группы. Компактификация $X_{\Gamma}=(H / \Gamma) \cup \infty$ аналитически изоморфна комплексной проективной прямой, причём изоморфизм задаётся основной модулярной функцией $J(z)$. Фундаментальная область $G$ имеет конечную площадь Лобачевского

$$\int_G y^{-2}\, d x\, d y=\frac{\pi}{3},$$т. е. модулярная группа есть фуксова группа 1-го рода (см. Шимура. 1973). Для решётки $L=\mathbb{Z}+\mathbb{Z} z$, $z \in H$, решётка $L_1=\mathbb{Z}+\mathbb{Z} \gamma(z)$, $\gamma = \left\|\begin{array}{ll}a & b \\ c & d\end{array}\right\| \in \Gamma$, эквивалентна $L$, т. е. получается из $L$ умножением элементов последней на ненулевое комплексное число $\lambda=(c z+d)^{-1}$.

Каждой решётке соответствует комплексный тор $C / L$, аналитически эквивалентный неособой кубической кривой (эллиптической кривой). Это даёт взаимно однозначное соответствие между точками факторпространства $H / \Gamma$, классами эквивалентных решёток и классами (аналитически) эквивалентных эллиптических кривых (см. Шимура. 1973).

Исследование подгруппы модулярной группы представляет интерес в теории модулярных форм и алгебраических кривых. Главной конгруэнц-подгруппой $\Gamma(N)$ модулярной группы уровня $N \geqslant 1$ ($N$ – целое число) называется группа преобразований $\gamma(z)$ вида $(1)$, у которых $a \equiv d \equiv 1(\bmod N)$, $c \equiv b \equiv 0(\bmod N)$. Подгруппа $\tilde{\Gamma} \subset \Gamma$ называется конгруэнц-подгруппой, если $\tilde{\Gamma} \supset \Gamma(N)$ для некоторого числа $N$; наименьшее такое $N$ называется уровнем $\tilde{\Gamma}$. Примеры конгруэнц-подгрупп уровня $N$: группа $\Gamma_0(N)$ преобразований $(1)$ с $c$, делящимся на $N$, группа $\Gamma_1(N)$ преобразований $(1)$ с $a \equiv d \equiv 1 \bmod N$ и $c \equiv 0 \bmod N$. Индекс подгруппы $\Gamma(N)$ в модулярной группе равен $\left(N^3/ 2\right) \prod_{p\mid N}\left(1-p^{-2}\right)$, если $N>2$, $p$ – простые числа, и $6$, если $N=2$, поэтому каждая конгруэнц-подгруппа имеет конечный индекс в модулярной группе.

Каждой подгруппе $\tilde{\Gamma}$ конечного индекса в модулярной группе соответствует полная алгебраическая кривая $X_{\tilde{\Gamma}}$ (модулярная кривая), полученная из факторпространства $H / \tilde{\Gamma}$, и накрытие $X_{\tilde{\Gamma}} \rightarrow X_{\Gamma}$. Изучение ветвления этого накрытия позволяет найти для конгруэнц-подгрупп $\Gamma$ образующие и соотношения, род кривой $X_{\tilde{\Gamma}}$ и доказать, что существуют подгруппы конечного индекса в модулярной группе, не являющиеся конгруэнц-подгруппами (см. Шимура. 1973; Rankin. 1977; Modular functions of one variable II. 1973). Изучение представлений модулярной группы началось в работах (см. Hecke. 1970; Klein. 1890–1892) в связи с теорией модулярных форм. Такие представления интенсивно изучаются в рамках теории автоморфных форм (см. Modular Functions of One Variable I. 1973, ... II. 1973, ... III. 1973, ... IV. 1975, ... V. 1977, ... VI. 1977). Многие результаты, относящиеся к модулярной группе, переносятся на случай арифметических подгрупп в алгебраических группах Ли.