Закон больших чисел

Зако́н больши́х чи́сел, общий принцип, в силу которого совместное действие случайных факторов приводит при некоторых весьма общих условиях к результату, почти не зависящему от случая. Сближение частоты наступления случайного события с его вероятностью при возрастании числа испытаний (подмеченное сначала, по-видимому, на азартных играх) может служить первым примером действия этого принципа.

На рубеже 17 и 18 вв. Я. Бернулли (^[1]) доказал теорему, утверждающую, что в последовательности независимых испытаний, в каждом из которых вероятность наступления некоторого события ${\displaystyle A}$ имеет одно и то же значение ${\displaystyle p}$, ${\displaystyle 0}$

<p 1<="" <="" math="">, верно соотношение:

${\displaystyle {\mathsf {P}}\left\{\,\left|{\frac {\mu _{n}}{n}}-p\right|>\varepsilon \right\}\to 0}$ (1)

при любом ${\displaystyle \varepsilon >0}$ и ${\displaystyle n\to \infty }$; здесь ${\displaystyle \mu _{n}}$ – число появлений события в первых ${\displaystyle n}$ испытаниях, ${\displaystyle \mu _{n}/n}$ – частота появлений. Эта теорема Бернулли была распространена С. Д. Пуассоном (^[2]) на случай последовательности независимых испытаний, где вероятность появления события ${\displaystyle A}$ может зависеть от номера испытания. Пусть эта вероятность для ${\displaystyle k}$-го испытания равна ${\displaystyle p_{k}}$, ${\displaystyle k=1,2,3,\ldots }$, и пусть

${\displaystyle {\bar {p}}={\frac {p_{1}+p_{2}+\ldots +p_{n}}{n}}}$.

Тогда теорема Пуассона утверждает, что

${\displaystyle {\mathsf {P}}\left\{\,\left|{\frac {\mu _{n}}{n}}-{\bar {p}}\right|>\varepsilon \right\}\to 0}$ (2)

при любом ${\displaystyle \varepsilon >0}$ и ${\displaystyle n\to \infty }$. Первое строгое доказательство этой теоремы было дано П. Л. Чебышёвым (1846, см. ^[3]), метод которого полностью отличен от метода Пуассона и основан на некоторых экстремальных соображениях; С. Д. Пуассон выводил (2) из приближённой формулы для указанной вероятности, основанной на использовании закона Гаусса и в то время еще строго не обоснованной. У С. Д. Пуассона впервые встречается и термин «закон больших чисел», которым он назвал свое обобщение теоремы Бернулли.

Естественное дальнейшее обобщение теорем Бернулли и Пуассона возникает, если заметить, что случайные величины ${\displaystyle \mu _{n}}$ можно представить в виде суммы

${\displaystyle \mu _{n}=X_{1}+X_{2}+\ldots +X_{n}}$

независимых случайных величин, где ${\displaystyle X_{k}=1}$, если ${\displaystyle A}$ появляется в ${\displaystyle k}$-м испытании, и ${\displaystyle X_{k}=0}$ – в противном случае. При этом математическое ожидание ${\displaystyle {\mathsf {E}}(\mu _{n}/n)}$ (совпадающее со средним арифметическим математических ожиданий ${\displaystyle {\mathsf {E}}X_{k}}$) равно ${\displaystyle p}$ для случая Бернулли и ${\displaystyle {\bar {p}}}$ для случая Пуассона. Другими словами, в обоих случаях рассматривается отклонение среднего арифметического величин ${\displaystyle X_{k}}$ от среднего арифметического их математических ожиданий.

В работе П. Л. Чебышёва «О средних величинах» (1867) было установлено, что для независимых случайных величин ${\displaystyle X_{1},X_{2},\ldots ,X_{n},\ldots }$ соотношение

${\displaystyle {\mathsf {P}}\left\{\,\left|{\frac {X_{1}+\ldots +X_{n}}{n}}-{\frac {{\mathsf {E}}X_{1}+\ldots +{\mathsf {E}}X_{n}}{n}}\right|>\varepsilon \right\}\to 0}$ (3)

(при любом ${\displaystyle \varepsilon >0}$ и ${\displaystyle n\to \infty }$) верно при весьма общих предположениях. П. Л. Чебышёв предполагал, что математические ожидания ${\displaystyle {\mathsf {E}}X_{k}^{2}}$ все ограничены одной и той же постоянной, хотя из его доказательства видно, что достаточно требования ограниченности дисперсий ${\displaystyle X_{k}}$, ${\displaystyle {\mathsf {D}}X_{k}={\mathsf {E}}X_{k}^{2}-({\mathsf {E}}X_{k})^{2}}$, или даже требования

${\displaystyle B_{n}^{2}={\mathsf {D}}X_{1}+\ldots +{\mathsf {D}}X_{n}=o(n^{2})\ {\text{ при }}\ n\to \infty }$.

Таким образом, П. Л. Чебышёв показал возможность широкого обобщения теоремы Бернулли. А. А. Марков отметил возможность дальнейших обобщений и предложил применять название «закон больших чисел» ко всей совокупности обобщений теоремы Бернулли [и в частности, к (3)]. Метод Чебышёва основан на точном установлении общих свойств математических ожиданий и на использовании т. н. неравенства Чебышёва [для вероятности (3) оно дает оценку вида

${\displaystyle n^{-2}\varepsilon ^{-2}\sum _{k=1}^{n}{\mathsf {D}}X_{k}}$;

эту границу можно заменить более точной, разумеется, при более значительных ограничениях, см. Неравенство Бернштейна]. Последующие доказательства различных форм закона больших чисел в той или иной степени являются развитием метода Чебышёва. Применяя надлежащее «урезание» случайных величин ${\displaystyle X_{k}}$ (замену их вспомогательными величинами ${\displaystyle X'_{n,k}}$; именно: ${\displaystyle X'_{n,k}=X_{k}}$, если ${\displaystyle \mid X_{k}-{\mathsf {E}}X_{k}\mid \leqslant L_{n}}$ и ${\displaystyle X'_{n,k}=0}$, если ${\displaystyle \mid X_{k}-{\mathsf {E}}X_{k}\mid >L_{n}}$, где ${\displaystyle L_{n}}$ – некоторые постоянные), А. А. Марков распространил закон больших чисел на случаи, когда дисперсии слагаемых не существуют. Например, он показал, что (3) имеет место, если при некоторых постоянных ${\displaystyle \delta >0}$ и ${\displaystyle L>0}$ и всех ${\displaystyle n}$

${\displaystyle {\mathsf {E}}\mid X_{n}-{\mathsf {E}}X_{n}\mid ^{1+\delta }<L}$.

Аналогично доказывается теорема Xинчина (1929): если ${\displaystyle X_{n}}$ имеют одинаковые законы распределения и ${\displaystyle {\mathsf {E}}X_{n}}$ существует, то закон больших чисел (3) выполняется.

Для сумм независимых случайных величин можно сформулировать более или менее окончательный вариант закона больших чисел. Для этого целесообразно перейти на более общую точку зрения, связанную с понятием предельного постоянства последовательности случайных величин. Случайные величины последовательности ${\displaystyle Y_{1},Y_{2},\ldots ,Y_{n},\ldots }$ называются предельно постоянными, если существует такая последовательность постоянных ${\displaystyle C_{1},C_{2},\ldots ,C_{n},\ldots }$, что при любом ${\displaystyle \varepsilon >0}$ и ${\displaystyle n\to \infty }$

${\displaystyle {\mathsf {P}}{\big \{}\,\mid Y_{n}-C_{n}\mid >\varepsilon {\big \}}\to 0}$ (4)

(т. е. ${\displaystyle Y_{n}-C_{n}}$ сходится к нулю «по вероятности»; если (4) выполняется с каким-либо ${\displaystyle C_{n}}$, то оно выполняется и с ${\displaystyle C'_{n}=mY_{n}}$, где ${\displaystyle mY}$ – медиана случайной величины ${\displaystyle Y}$). Далее, вместо последовательности ${\displaystyle X_{1},X_{2},\ldots ,X_{n},\ldots }$ независимых случайных величин можно взять т. н. схему серий:

${\displaystyle {\begin{aligned}X_{1,1},\ldots ,X_{1,k_{1}},\\X_{2,1},\ldots ,X_{2,k_{2}},\\\ldots \ldots \ldots \\X_{n,1},\ldots ,X_{n,k_{n}},\\\ldots \ldots \ldots \end{aligned}}}$

случайных величин (первый индекс – номер серии, второй – номер величины внутри серии). Случайные величины каждой отдельной серии предполагаются взаимно независимыми. Схему последовательности легко свести к схеме серий, полагая ${\displaystyle k_{1}=1,\ k_{2}=2,\ \ldots }$, ${\displaystyle X_{n,k}=X_{k}/n}$.

Пусть

${\displaystyle Y_{n}=X_{n,1}+\ldots +X_{n,k_{n}}}$.

Тогда общая форма вопроса о применимости закона больших чисел для сумм независимых случайных величин такова: при каких условиях суммы ${\displaystyle Y_{n}}$ предельно постоянны?

Ответ на этот вопрос дал А. Н. Колмогоров (1928). Допустим, не ограничивая общности, что медианы величин ${\displaystyle X_{n,k}}$ равны нулю. Пусть ${\displaystyle {\widetilde {X}}_{n,k}=X_{n,k}}$ при ${\displaystyle \mid X_{n,k}\mid \leqslant 1}$ и ${\displaystyle {\widetilde {X}}_{n,k}=0}$ при ${\displaystyle \mid X_{n,k}\mid >1}$. Тогда одновременное выполнение двух условий:

${\displaystyle \sum _{k=1}^{k_{n}}{\mathsf {P}}{\big \{}\,\mid X_{n,k}>1\}\to 0\ {\text{ при }}\ n\to \infty }$

и

${\displaystyle \sum _{k=1}^{k_{n}}{\mathsf {E}}{\widetilde {X}}_{n,k}^{2}\to 0\ {\text{ при }}\ n\to \infty }$,

необходимо и достаточно для предельного постоянства сумм ${\displaystyle Y_{n}}$. В качестве ${\displaystyle C_{n}}$ можно взять ${\displaystyle \displaystyle \sum _{k=1}^{k_{n}}{\mathsf {E}}{\widetilde {X}}_{n,k}}$. Достаточность этих условий легко доказывается методом Чебышёва. Если математические ожидания ${\displaystyle {\mathsf {E}}X_{n,k}}$ существуют, то легко указать дополнительные условия, при которых можно выбрать ${\displaystyle C_{n}={\mathsf {E}}Y_{n}}$, что приводит к необходимым и достаточным условиям закона больших чисел в классической формулировке (3). Для последовательности независимых одинаково распределенных величин ${\displaystyle \left\{X_{n}\right\}}$ эти условия сводятся, в соответствии с указанной теоремой Хинчина, к существованию математического ожидания. В то же время для предельного постоянства средних арифметических ${\displaystyle Y_{n}}$ в этом случае необходимо и достаточно условие

${\displaystyle n{\mathsf {P}}{\big \{}\,\mid X_{1}\mid >n{\big \}}\to 0\ {\text{ при }}\ n\to \infty }$ (5).

Легко привести примеры, когда условие (5) не выполняется. Так, оно не выполняется, если все ${\displaystyle X_{n}}$ имеют распределение Коши с плотностью ${\displaystyle {\dfrac {1}{\pi (1+x^{2})}}}$ (которой соответствует характеристическая функция ${\displaystyle e^{-\mid t\mid })}$. Здесь средние арифметические ${\displaystyle Y_{n}={\dfrac {X_{1}+\ldots +X_{n}}{n}}}$ имеют характеристическую функцию ${\displaystyle e^{-n\mid t/n\mid }=e^{-\mid t\mid }}$ и, следовательно, имеют при любом ${\displaystyle n}$ то же самое распределение, что и отдельные слагаемые.

В числе наиболее важных примеров, где закон больших чисел не имеет места, следует отметить примеры, связанные с временами возвращения в случайных блужданиях. Например, в симметричном блуждании Бернулли время ${\displaystyle T_{n}}$ до ${\displaystyle n}$-го возвращения в исходную точку есть сумма ${\displaystyle n}$ независимых случайных величин ${\displaystyle X_{1},X_{2},\ldots X_{n}}$, где ${\displaystyle X_{1}}$ – время до 1-го возвращения, ${\displaystyle X_{2}}$ – время между 1-м и 2-м возвращениями и т. д. Распределение величины ${\displaystyle 2T_{n}/(\pi n^{2})}$ сходится при ${\displaystyle n\to \infty }$ к невырожденному предельному закону с плотностью

${\displaystyle p(x)={\frac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2x}}}x^{-3/2}{\text{ при }}x>0}$

и равной нулю при ${\displaystyle x\leqslant 0}$. Таким образом, в этом случае распределение среднего арифметического величин ${\displaystyle X_{i}}$, т. е. ${\displaystyle T_{n}/n}$ размещается, грубо говоря, на отрезке длины порядка ${\displaystyle n}$ [в то время как в случае применимости закона больших чисел оно сосредоточивается на отрезках длины ${\displaystyle o(1)}$].

Применимость закона больших чисел к суммам зависимых величин (и в его классической формулировке, и в более общих) связана в первую очередь с неограниченным убыванием зависимости между случайными величинами ${\displaystyle X_{j}}$ и ${\displaystyle X_{i}}$ при увеличении разности их номеров, т. е. ${\displaystyle \mid i-j\mid }$. Впервые соответствующие теоремы были доказаны А. А. Марковым для величин, связанных в цепь Маркова (1907). Именно, пусть ${\displaystyle X_{1},X_{2},\ldots ,X_{n},\ldots }$ принимают конечное число значений и связаны в однородную цепь Маркова, причем все вероятности перехода за один шаг положительны. Здесь неограниченное убывание зависимости между ${\displaystyle X_{j}}$ и ${\displaystyle X_{i}}$ при ${\displaystyle j-i\to \infty }$ проявляется в том, что условное распределение ${\displaystyle X_{j}}$ при фиксированном значении ${\displaystyle X_{i}}$ стремится при ${\displaystyle n\to \infty }$ к пределу, не зависящему от выбранного значения ${\displaystyle X_{i}}$ (эргодическая теорема Маркова). Как следствие этого утверждения выводится закон больших чисел: сначала устанавливается, что при ${\displaystyle n\to \infty }$

${\displaystyle {\mathsf {E}}\left({\frac {X_{1}+\ldots +X_{n}}{n}}-a\right)^{2}\to 0}$,

где ${\displaystyle a=\lim \limits _{k\to \infty }{\mathsf {E}}X_{k}}$; отсюда же вытекает, что при ${\displaystyle n\to \infty }$

${\displaystyle {\mathsf {P}}\left\{\,\left|{\frac {X_{1}+\ldots +X_{n}}{n}}-a\right|>\varepsilon \right\}\to 0}$.

Более общий случай охватывается условиями С. Н. Бернштейна: если ${\displaystyle {\mathsf {D}}X_{j}<L}$, ${\displaystyle R(X_{i},X_{j})\leqslant \varphi (\mid i-j\mid )}$, где ${\displaystyle L}$ – некоторая постоянная, ${\displaystyle R}$ – коэффициент корреляции, ${\displaystyle \varphi (n)}$ – функция, стремящаяся к нулю при ${\displaystyle n\to \infty }$, то к величинам ${\displaystyle \left\{X_{n}\right\}}$ применим закон больших чисел (3). Для стационарных в широком смысле последовательностей ${\displaystyle \left\{X_{n}\right\}}$ условие на корреляцию можно несколько ослабить, заменив его условием

${\displaystyle \lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}R(j)=0}$,

где ${\displaystyle R_{j}=R(X_{i},X_{i+j})}$.

Предыдущие результаты можно обобщить в различных направлениях. Во-первых, всюду выше рассматривалась сходимость «по вероятности». Рассматривают и другие типы сходимости: с вероятностью единица, в среднем квадратичном и т. п. (в действительности многие из указанных выше условий обеспечивают сходимость в среднем квадратичном, из которой вытекает сходимость по вероятности). Случай сходимости с вероятностью единица, ввиду его важности, выделяется особым названием «усиленного закона больших чисел».

Далее, многие теоремы переносятся с соответствующими изменениями на случайные векторы со значениями из евклидовых пространств любой размерности, из гильбертова пространства, из некоторых банаховых пространств. Так, например, если ${\displaystyle \left\{X_{n}\right\}}$ – последовательность независимых, одинаково распределенных случайных векторов со значениями из сепарабельного банахова пространства и если ${\displaystyle {\mathsf {E}}\Vert X_{n}\Vert }$ (${\displaystyle \Vert x\Vert }$ – норма ${\displaystyle x}$) существует, то

${\displaystyle {\mathsf {P}}\left\{\,\left\Vert {\frac {X_{1}+\ldots +X_{n}}{n}}-{\mathsf {E}}X_{1}\right\Vert >\varepsilon \right\}\to 0}$

при любом ${\displaystyle \varepsilon >0}$ и ${\displaystyle n\to \infty }$.

Рассматриваемый в наиболее общей форме закон больших чисел оказывается тесно связанным с эргодическими теоремами. Разумеется, многие теоремы переносятся и на случай средних ${\displaystyle \displaystyle {\frac {1}{T}}\int \limits _{0}^{T}X(t)\,dt}$, где ${\displaystyle X(t)}$ – случайный процесс, зависящий от непрерывного параметра (см., например, ^[4]).

Наконец, вместо сумм случайных величин можно рассмотреть другие симметрические функции от них. Это было сделано А. Я. Хинчиным (1951–1955) в связи с обоснованием некоторых выводов статистической механики (Хинчин. ^[5]). Результат А. Я. Хинчина можно пояснить следующим частным примером. Пусть ${\displaystyle X_{n,1},\ldots ,X_{n,n}}$ – координаты точки, равномерно распределенной на поверхности сферы

${\displaystyle X_{n,1}^{2}+\ldots +X_{n,n}^{2}=n\mu ,\quad \mu >0}$.

Тогда для широкого класса симметрических функций ${\displaystyle f(X_{n,1},\ldots ,X_{n,n})}$ имеет место закон больших чисел в том смысле, что их значения при ${\displaystyle n\to \infty }$ оказываются предельно постоянными [это близко к замечанию П. Леви (1925) о том, что достаточно регулярные функции очень большого числа переменных почти постоянны в большей части области определения].

В большинстве старых руководств приводились обширные статистические данные, иллюстрирующие закон больших чисел (см., например, ^[6], ^[7]).