Зако́н больши́х чи́сел, общий принцип, в силу которого совместное действие случайных факторов приводит при некоторых весьма общих условиях к результату, почти не зависящему от случая. Сближение частоты наступления случайного события с его вероятностью при возрастании числа испытаний (подмеченное сначала, по-видимому, на азартных играх) может служить первым примером действия этого принципа.

На рубеже 17 и 18 вв. Я. Бернулли (Bernoulli. 1713) доказал теорему, утверждающую, что в последовательности независимых испытаний, в каждом из которых вероятность наступления некоторого события $A$ имеет одно и то же значение $p$, $0<p<1$, верно соотношение:

$$\tag{1}\mathsf{P}\left\{\,\left|\frac{\mu_n}n-p\right|>\varepsilon\right\}\to 0$$при любом $\varepsilon>0$ и $n\to\infty$; здесь $\mu_n$ – число появлений события в первых $n$ испытаниях, $\mu_n/n$ – частота появлений. Эта теорема Бернулли была распространена С. Д. Пуассоном (Poisson. 1839) на случай последовательности независимых испытаний, где вероятность появления события $A$ может зависеть от номера испытания. Пусть эта вероятность для $k$-го испытания равна $p_k$, $k=1,2,3,\ldots$, и пусть

$$\bar p=\frac{p_1+p_2+\ldots+p_n}{n}.$$Тогда теорема Пуассона утверждает, что

$$\tag{2}\mathsf{P}\left\{\,\left|\frac{\mu_n}{n}-\bar p\right|>\varepsilon\right\}\to 0$$при любом $\varepsilon>0$ и $n\to\infty$. Первое строгое доказательство этой теоремы было дано П. Л. Чебышёвым (1846, см. Чебышев. 1947), метод которого полностью отличен от метода Пуассона и основан на некоторых экстремальных соображениях; С. Д. Пуассон выводил (2) из приближённой формулы для указанной вероятности, основанной на использовании закона Гаусса и в то время еще строго не обоснованной. У С. Д. Пуассона впервые встречается и термин «закон больших чисел», которым он назвал свое обобщение теоремы Бернулли.

Естественное дальнейшее обобщение теорем Бернулли и Пуассона возникает, если заметить, что случайные величины $\mu_n$ можно представить в виде суммы

$$\mu_n=X_1+X_2+\ldots+X_n$$независимых случайных величин, где $X_k=1$, если $A$ появляется в $k$-м испытании, и $X_k=0$ – в противном случае. При этом математическое ожидание $\mathsf E(\mu_n/n)$ (совпадающее со средним арифметическим математических ожиданий $\mathsf EX_k$) равно $p$ для случая Бернулли и $\bar p$ для случая Пуассона. Другими словами, в обоих случаях рассматривается отклонение среднего арифметического величин $X_k$ от среднего арифметического их математических ожиданий.

В работе П. Л. Чебышёва «О средних величинах» (1867) было установлено, что для независимых случайных величин $X_1, X_2,\ldots, X_n,\ldots$ соотношение

$$\tag{3}\mathsf{P}\left\{\,\left| \frac{X_1+\ldots+X_n}n - \frac{\mathsf{E}X_1+\ldots+\mathsf{E}X_n}n \right|>\varepsilon\right\}\to 0$$(при любом $\varepsilon>0$ и $n\to\infty$) верно при весьма общих предположениях. П. Л. Чебышёв предполагал, что математические ожидания $\mathsf{E}X_k^2$ все ограничены одной и той же постоянной, хотя из его доказательства видно, что достаточно требования ограниченности дисперсий $X_k$, $\mathsf DX_k=\mathsf EX_k^2– (\mathsf EX_k)^2$, или даже требования

$$B_n^2=\mathsf DX_1+\ldots+\mathsf DX_n=o(n^2)\ \text{ при }\ n\to\infty.$$Таким образом, П. Л. Чебышёв показал возможность широкого обобщения теоремы Бернулли. А. А. Марков отметил возможность дальнейших обобщений и предложил применять название «закон больших чисел» ко всей совокупности обобщений теоремы Бернулли [и в частности, к (3)]. Метод Чебышёва основан на точном установлении общих свойств математических ожиданий и на использовании т. н. неравенства Чебышёва [для вероятности (3) оно дает оценку вида

$$n^{-2}\varepsilon^{-2}\sum_{k=1}^n\mathsf DX_k;$$эту границу можно заменить более точной, разумеется, при более значительных ограничениях, см. Неравенство Бернштейна]. Последующие доказательства различных форм закона больших чисел в той или иной степени являются развитием метода Чебышёва. Применяя надлежащее «урезание» случайных величин $X_k$ (замену их вспомогательными величинами $X'_{n,k}$; именно: $X'_{n,k}=X_k$, если $|X_k-\mathsf{E}X_k|\leqslant L_n$ и $X'_{n,k}=0$, если $|X_k-\mathsf{E}X_k|>L_n$, где $L_n$ – некоторые постоянные), А. А. Марков распространил закон больших чисел на случаи, когда дисперсии слагаемых не существуют. Например, он показал, что (3) имеет место, если при некоторых постоянных $\delta>0$ и $L>0$ и всех $n$

$$\mathsf{E}|X_n-\mathsf{E}X_n|^{1+\delta}<L.$$Аналогично доказывается теорема Xинчина (1929): если $X_n$ имеют одинаковые законы распределения и $\mathsf{E}X_n$ существует, то закон больших чисел (3) выполняется.

Для сумм независимых случайных величин можно сформулировать более или менее окончательный вариант закона больших чисел. Для этого целесообразно перейти на более общую точку зрения, связанную с понятием предельного постоянства последовательности случайных величин. Случайные величины последовательности $Y_1, Y_2, \ldots, Y_n,\ldots$ называются предельно постоянными, если существует такая последовательность постоянных $C_1, C_2, \ldots, C_n,\ldots$, что при любом $\varepsilon>0$ и $n\to\infty$

$$\tag{4}\mathsf{P}\big\{\,|Y_n-C_n|>\varepsilon\big\}\to 0$$(т. е. $Y_n-C_n$ сходится к нулю «по вероятности»; если (4) выполняется с каким-либо $C_n$, то оно выполняется и с $C'_n=mY_n$, где $mY$ – медиана случайной величины $Y$). Далее, вместо последовательности $X_1, X_2, \ldots, X_n,\ldots$ независимых случайных величин можно взять т. н. схему серий:

$$\begin{gathered} X_{1,1},\ldots,X_{1,k_1},\\ X_{2,1},\ldots,X_{2,k_2},\\ \ldots\ldots\ldots\\ X_{n,1},\ldots,X_{n,k_n},\\ \ldots\ldots\ldots \end{gathered}$$случайных величин (первый индекс – номер серии, второй – номер величины внутри серии). Случайные величины каждой отдельной серии предполагаются взаимно независимыми. Схему последовательности легко свести к схеме серий, полагая $k_1=1,\ k_2=2,\ \ldots$, $X_{n,k}=X_k/n$.

Пусть

$$Y_n=X_{n,1}+\ldots+X_{n,k_n}.$$Тогда общая форма вопроса о применимости закона больших чисел для сумм независимых случайных величин такова: при каких условиях суммы $Y_n$ предельно постоянны?

Ответ на этот вопрос дал А. Н. Колмогоров (1928). Допустим, не ограничивая общности, что медианы величин $X_{n,k}$ равны нулю. Пусть $\widetilde{X}_{n,k}=X_{n,k}$ при $|X_{n,k}|\leqslant 1$ и $\widetilde{X}_{n,k}=0$ при $|X_{n,k}|>1$. Тогда одновременное выполнение двух условий:

$$\sum_{k=1}^{k_n}\mathsf{P}\big\{\,|X_{n,k}>1\}\to 0\ \text{ при }\ n\to\infty$$и

$$\sum_{k=1}^{k_n}\mathsf{E}\widetilde{X}^2_{n,k}\to 0\ \text{ при }\ n\to\infty,$$необходимо и достаточно для предельного постоянства сумм $Y_n$. В качестве $C_n$ можно взять $\displaystyle\sum_{k=1}^{k_n}\mathsf{E}\widetilde{X}_{n,k}$. Достаточность этих условий легко доказывается методом Чебышёва. Если математические ожидания $\mathsf{E}X_{n,k}$ существуют, то легко указать дополнительные условия, при которых можно выбрать $C_n=\mathsf{E}Y_n$, что приводит к необходимым и достаточным условиям закона больших чисел в классической формулировке (3). Для последовательности независимых одинаково распределенных величин $\{X_n\}$ эти условия сводятся, в соответствии с указанной теоремой Хинчина, к существованию математического ожидания. В то же время для предельного постоянства средних арифметических $Y_n$ в этом случае необходимо и достаточно условие

$$\tag{5}n\mathsf{P}\big\{\,|X_1|>n\big\}\to 0\ \text{ при }\ n\to\infty.$$Легко привести примеры, когда условие (5) не выполняется. Так, оно не выполняется, если все $X_n$ имеют распределение Коши с плотностью $\dfrac1{\pi(1+x^2)}$ (которой соответствует характеристическая функция $e^{-|t|})$. Здесь средние арифметические $Y_n=\dfrac{X_1+\ldots+X_n}n$ имеют характеристическую функцию $e^{-n|t/n|}=e^{-|t|}$ и, следовательно, имеют при любом $n$ то же самое распределение, что и отдельные слагаемые.

В числе наиболее важных примеров, где закон больших чисел не имеет места, следует отметить примеры, связанные с временами возвращения в случайных блужданиях. Например, в симметричном блуждании Бернулли время $T_n$ до $n$-го возвращения в исходную точку есть сумма $n$ независимых случайных величин $X_1,X_2,\ldots X_n$, где $X_1$ – время до 1-го возвращения, $X_2$ – время между 1-м и 2-м возвращениями и т. д. Распределение величины $2T_n/(\pi n^2)$ сходится при $n\to\infty$ к невырожденному предельному закону с плотностью

$$p(x)=\frac1{\sqrt{2\pi}}e^{-\frac{1}{2x}}x^{-3/2}\text{ при }x>0$$и равной нулю при $x\leqslant 0$. Таким образом, в этом случае распределение среднего арифметического величин $X_i$, т. е. $T_n/n$ размещается, грубо говоря, на отрезке длины порядка $n$ [в то время как в случае применимости закона больших чисел оно сосредоточивается на отрезках длины $o(1)$].

Применимость закона больших чисел к суммам зависимых величин (и в его классической формулировке, и в более общих) связана в первую очередь с неограниченным убыванием зависимости между случайными величинами $X_j$ и $X_i$ при увеличении разности их номеров, т. е. $|i-j|$. Впервые соответствующие теоремы были доказаны А. А. Марковым для величин, связанных в цепь Маркова (1907). Именно, пусть $X_1,X_2,\ldots,X_n,\ldots$ принимают конечное число значений и связаны в однородную цепь Маркова, причем все вероятности перехода за один шаг положительны. Здесь неограниченное убывание зависимости между $X_j$ и $X_i$ при $j-i\to\infty$ проявляется в том, что условное распределение $X_j$ при фиксированном значении $X_i$ стремится при $n\to\infty$ к пределу, не зависящему от выбранного значения $X_i$ (эргодическая теорема Маркова). Как следствие этого утверждения выводится закон больших чисел: сначала устанавливается, что при $n\to\infty$

$$\mathsf{E}\left(\frac{X_1+\ldots+X_n}n-a\right)^2\to 0,$$где $a=\lim\limits_{k\to\infty}\mathsf{E}X_k$; отсюда же вытекает, что при $n\to\infty$

$$\mathsf{P}\left\{\,\left|\frac{X_1+\ldots+X_n}n-a\right|>\varepsilon\right\}\to 0.$$Более общий случай охватывается условиями С. Н. Бернштейна: если $\mathsf{D}X_j<L$, $R(X_i,X_j)\leqslant\varphi(|i-j|)$, где $L$ – некоторая постоянная, $R$ – коэффициент корреляции, $\varphi(n)$ – функция, стремящаяся к нулю при $n\to\infty$, то к величинам $\{X_n\}$ применим закон больших чисел (3). Для стационарных в широком смысле последовательностей $\{X_n\}$ условие на корреляцию можно несколько ослабить, заменив его условием

$$\lim_{n\to\infty}\frac1n\sum_{j=1}^nR(j)=0,$$где $R_j=R(X_i,X_{i+j})$.

Предыдущие результаты можно обобщить в различных направлениях. Во-первых, всюду выше рассматривалась сходимость «по вероятности». Рассматривают и другие типы сходимости: с вероятностью единица, в среднем квадратичном и т. п. (в действительности многие из указанных выше условий обеспечивают сходимость в среднем квадратичном, из которой вытекает сходимость по вероятности). Случай сходимости с вероятностью единица, ввиду его важности, выделяется особым названием «усиленного закона больших чисел».

Далее, многие теоремы переносятся с соответствующими изменениями на случайные векторы со значениями из евклидовых пространств любой размерности, из гильбертова пространства, из некоторых банаховых пространств. Так, например, если $\{X_n\}$ – последовательность независимых, одинаково распределенных случайных векторов со значениями из сепарабельного банахова пространства и если $\mathsf{E}\Vert X_n\Vert$ ($\Vert x\Vert$ – норма $x$) существует, то

$$\mathsf{P}\left\{\,\left\Vert\frac{X_1+\ldots+X_n}n-\mathsf{E}X_1 \right\Vert>\varepsilon\right\}\to 0$$при любом $\varepsilon>0$ и $n\to\infty$.

Рассматриваемый в наиболее общей форме закон больших чисел оказывается тесно связанным с эргодическими теоремами. Разумеется, многие теоремы переносятся и на случай средних $\displaystyle\frac1T\int\limits_0^TX(t)\,dt$, где $X(t)$ – случайный процесс, зависящий от непрерывного параметра (см., например, Лоэв. 1962).

Наконец, вместо сумм случайных величин можно рассмотреть другие симметрические функции от них. Это было сделано А. Я. Хинчиным (1951–1955) в связи с обоснованием некоторых выводов статистической механики (Хинчин. 1955). Результат А. Я. Хинчина можно пояснить следующим частным примером. Пусть $X_{n,1},\ldots,X_{n,n}$ – координаты точки, равномерно распределенной на поверхности сферы

$$X_{n,1}^2+\ldots+X_{n,n}^2=n\mu,\quad \mu>0.$$Тогда для широкого класса симметрических функций $f(X_{n,1},\ldots,X_{n,n})$ имеет место закон больших чисел в том смысле, что их значения при $n\to\infty$ оказываются предельно постоянными [это близко к замечанию П. Леви (1925) о том, что достаточно регулярные функции очень большого числа переменных почти постоянны в большей части области определения].

В большинстве старых руководств приводились обширные статистические данные, иллюстрирующие закон больших чисел (см., например, Марков. 1924, Uspensky. 1937).