Тео́рия представле́ний групп, теория, изучающая гомоморфизмы групп, одно из средств изучения абстрактных групп с помощью конкретных групп. В теории представлений групп каждому элементу абстрактной группы сопоставляется невырожденное линейное преобразование некоторого векторного пространства, т. е. представление можно понимать как запись группы с помощью матриц или преобразований векторного пространства, тем самым задачи теории групп сводятся к более простым задачам линейной алгебры.

Теория представлений групп зародилась в работах Л. Эйлера, А.-М. Лежандра и К. Гаусса, в которых впервые появилось понятие характера коммутативной группы. Теория представлений групп для некоммутативных групп существует как самостоятельная область около 100 лет. Первый период её развития связан с именами Ф. Г. Фробениуса, И. Шура, У. Бёрнсайда и российского математика Ф. Э. Молина. В работах этого периода рассматривались только конечномерные представления конечных групп. Второй период – создание теории представлений групп для компактных топологических групп. В это же время появилась теория конечномерных представлений полупростых групп Ли (см. Теория групп Ли). Эти результаты нашли широкое применение в разных областях математики и физики (теория симметрических пространств, теория моментов в квантовой механике). Основной вклад в теорию представлений групп на этом этапе внесли Дж. фон Нейман, Г. Вейль и Э. Картан. В 1940-х гг. началось систематическое изучение бесконечномерных представлений (И. М. Гельфанд и его школа), составляющее основное содержание третьего периода. В 1970-е гг. этот этап в идейном отношении был завершён, хотя многие конкретные трудные задачи ещё ждут своего решения. Однако теорию представлений групп нельзя считать законченной. Можно указать основные направления, составляющие новый, четвёртый этап её развития. Это, во-первых, теория бесконечномерных представлений групп, встречающихся в современной теории чисел и алгебраической геометрии. Во-вторых, это теория представлений групп для бесконечномерных групп Ли, которая всё больше сближается с математической и теоретической физикой.