Тео́рия чи́сел, наука о целых числах, в которой изучаются вопросы представления натуральных чисел с помощью чисел специального вида, делимость чисел, распределение простых чисел на действительной оси и т. д. Теория чисел возникла из задач арифметики, связанных с умножением и делением целых чисел.

В Древней Греции (6 в. до н. э.) изучалась делимость чисел натурального ряда, были выделены отдельные подклассы целых чисел (например, простые числа и составные, которые являются произведениями простых), изучалась структура совершенных чисел, было дано решение в целых числах уравнения $x^2+y^2=z^2$, т. е. был указан алгоритм построения прямоугольных треугольников со сторонами, длины которых являются целыми числами. В «Началах» Евклида дано систематическое построение теории делимости на основе алгоритма Евклида для нахождения наибольшего общего делителя двух целых чисел, доказана первая теорема теории простых чисел – бесконечность множества простых чисел. Несколько позднее Эратосфеном был найден метод получения простых чисел, который стал называться решетом Эратосфена.

Систематизация проблем теории чисел и методов их решения проведена Диофантом в его «Арифметике», где, в частности, дано решение в рациональных числах многих алгебраических уравнений 1-й и 2-й степени с целыми коэффициентами от нескольких неизвестных.

В Китае начиная со 2 в. в связи с календарными расчётами возникла задача определения наименьшего целого числа, дающего при делении на заданные числа заданные остатки, которая была решена китайскими математиками Сунь-цзы (3–5 вв.) и Цинь Цзюшао (13 в.).

В Индии Брахмагупта (7 в.) и Бхаскара дали общие методы решения в целых числах неопределённых уравнений 1-й степени с двумя неизвестными и уравнений вида $ax^2+b=cy^2$ и $xy=ax+by+c$.

В Европе расцвет теории чисел начался с работ П. Ферма. Он исследовал решения многих уравнений в целых числах – в частности, высказал гипотезу о том, что уравнение $x^n+y^n=z^n$, $n > 2$, не имеет решения в натуральных числах $x, y, z$ (Великая теорема Ферма), доказал, что простые числа вида $4n+1$ являются суммами двух квадратов, доказал одно из основных утверждений теории сравнений: $a^p$ – $a$ делится на $p$, если $a$ – целое число, не делящееся на $p$, и $p$ – простое число (малая теорема Ферма).

Исключительно важный вклад в теорию чисел внёс Л. Эйлер. Он доказал Великую теорему Ферма при $n=3$, обобщения малой теоремы Ферма, ряд теорем о представлении чисел квадратичными формами. Эйлер был первым, кто для решения задач теории чисел привлёк средства математического анализа, что привело к созданию аналитической теории чисел. Исследуя вопрос о числе решений уравнений вида $$a_1x_1+...+a_n x_n=N,\tag{1}$$ где $a_1,...,a_n$ – натуральные числа, в целых неотрицательных числах $x_1...,x_n$, он ввёл производящую функцию $Φ(z)=\sum_{k=0}^{\infty} μ(k)z^k$, где $μ(k)$ – число решений (1) при $N=k$, $∣z∣ < 1$, которая связана с функциями $$Φ_1(z)=\frac{1}{1-z^{a_1}}=\sum_{k=0}^{\infty} z^{a_1k},\\...\ ,\\Φ_n=\frac{1}{1-z^{a_n}}=\sum_{k=0}^{\infty} z^{a_nk},$$$∣z∣ < 1$, равенством $Φ(z)=Φ_1(z)·...·Φ_n(z)$. Зная функцию $Φ(z)$, легко получить значения $μ(N)$ – например, дифференцируя $Φ(z): μ(N)=Φ^{(N)}(0)/N!$. Производящие функции Эйлера явились источником т. н. кругового метода Харди – Литлвуда – Рамануджана и метода Виноградова – основных методов современной аддитивной теории чисел, – теории, в которой изучаются задачи теории чисел, связанные с представлением чисел в виде сумм.

Дзета-функция, введённая Эйлером, и её обобщения составляют основу современных аналитических методов исследования проблем распределения простых чисел, большой вклад в исследование которых внёс П. Л. Чебышёв.

К. Гаусс создал основные методы и завершил построение теории сравнений, доказал т. н. закон взаимности квадратичных вычетов, сформулированный Л. Эйлером, заложил основы теории представления чисел квадратичными формами вида $ax^2+bxy+cy^2$ и формами высших степеней со многими переменными, ввёл т. н. Гауссовы суммы $$\sum^{m-1}_{n=0} e^{2πi\frac{an^2}{m}},$$которые явились первыми тригонометрическими суммами в теории чисел, и показал их полезность в решении задач. Если до Гаусса теория чисел представляла собой собрание отдельных результатов и идей, то после его работ она стала развиваться в различных направлениях как стройная теория.

К. Гаусс и П. Дирихле первыми стали рассматривать вопросы о количестве точек с целочисленными координатами в областях на плоскости. Гаусс доказал, что число таких точек в круге $x^2+y^2 ⩽ R^2$ равно сумме площади этого круга $πR^2$ и величины, которая при увеличении $R$ растёт не быстрее первой степени $R$, а Дирихле доказал, что число таких точек с положительными координатами под гиперболой $xy=N$ равно сумме $N(\ln N+2C-1)$, где $C$ – постоянная Эйлера, и величины, которая при увеличении $N$ растёт не быстрее $\sqrt{N}$. Обобщения этих утверждений, а также нахождение наилучших возможных остатков в этих суммах (проблема Гаусса целых точек в круге и проблема делителей Дирихле) послужили источником большой главы теории чисел.

Вместе с изучением свойств целых чисел в 19 в. возникло и стало развиваться новое направление в теории чисел, изучающее арифметику числовой прямой. Уже Л. Эйлер отмечал, что квадратные корни из целых чисел и логарифмы целых чисел принципиально отличаются друг от друга. Последнее обстоятельство обрело точную формулировку после работ Ж. Лиувилля (1844), который ввёл понятия алгебраических чисел и трансцендентных чисел. Оказывается, что алгебраические числа «плохо» приближаются рациональными дробями. Лиувилль доказал, что если алгебраическое число является корнем уравнения степени $n$, то, приближаясь к нему дробями вида $p/q$, где $p$ и $q$ – целые взаимно простые числа, подойти существенно ближе, чем $q^{–n}$, нельзя. Вопросы об алгебраичности и трансцендентности конкретных чисел довольно трудны; первыми были такие вопросы о числах $π$ и $e$; трансцендентность числа $e$ доказана Ш. Эрмитом (1873), числа $π$ – немецким учёным Ф. фон Линдеманом (1882), таким образом была решена задача о квадратуре круга. После работ Лиувилля и Э. Куммера стала развиваться алгебраическая теория чисел, в которой исследуются также расширения поля рациональных чисел, отличные от множества действительных чисел (см. Число).

В 20 в. в теории чисел стали развиваться новые разделы, например метрическая теория чисел, в которой используются понятия теории меры, и вероятностная теория чисел, в которой используются понятия и методы теории вероятностей.

Особенностью и привлекательностью теории чисел является простота и доступность формулировок большинства проблем и трудность их решения. Например, проблема близнецов, т. е. задача о том, конечно или нет множество пар простых чисел, для которых разность равна двум, была поставлена ещё Евклидом, но до сих пор (2022) не решена. См. также проблема Варинга, проблема Гольдбаха.