Тео́рия вероя́тностей, математическая наука, позволяющая по вероятностям одних случайных событий находить вероятности других случайных событий, связанных каким-либо образом с первыми.

Утверждение о том, что какое-либо событие наступает с вероятностью, равной, например, $1/2$, ещё не представляет само по себе окончательной ценности, т. к. мы стремимся к достоверному знанию. Окончательную познавательную ценность имеют те результаты теории вероятностей, которые позволяют утверждать, что вероятность наступления какого-либо события $A$ весьма близка к единице или (что то же самое) вероятность ненаступления события $A$ весьма мала. В соответствии с принципом «пренебрежения достаточно малыми вероятностями» такое событие справедливо считают практически достоверным. Ниже (в разделе «Предельные теоремы») показано, что имеющие научный и практический интерес выводы такого рода обычно основаны на допущении, что наступление или ненаступление события $A$ зависит от большого числа случайных, мало связанных друг с другом факторов (см. по этому поводу статью Закон больших чисел). Поэтому можно также сказать, что теория вероятностей есть математическая наука, выясняющая закономерности, которые возникают при взаимодействии большого числа случайных факторов.

Предмет теории вероятностей

Для описания закономерной связи между некоторыми условиями $S$ и событием $A$, наступление или ненаступление которого при данных условиях может быть точно установлено, естествознание использует обычно одну из следующих двух схем.

а) При каждом осуществлении условий $S$ наступает событие $A$. Такой вид, например, имеют все законы классической механики, которые утверждают, что при заданных начальных условиях и силах, действующих на тело или систему тел, движение будет происходить однозначно определённым образом.

б) При условиях $S$ событие $A$ имеет определённую вероятность $\mathsf{P}(X\mid S)$, равную $p$. Так, например, законы радиоактивного излучения утверждают, что для каждого радиоактивного вещества существует определённая вероятность того, что из данного количества вещества за данный промежуток времени распадается какое-либо число $N$ атомов.

Назовём частотой события $A$ в данной серии из $n$ испытаний (т. е. из $n$ повторных осуществлений условий $S$) отношение $p=m/n$ числа $m$ тех испытаний, в которых $A$ наступило, к общему их числу $n$. Наличие у события $A$ при условиях $S$ определённой вероятности, равной $p$, проявляется в том, что в почти каждой достаточно длинной серии испытаний частота события $A$ приблизительно равна $p$. Всякая математическая модель, предназначенная для схематического описания связи между условиями $S$ и случайным событием $X$, обычно включает также определённые допущения о характере и степени зависимости испытаний. После того как такие дополнительные допущения (из которых наиболее часто встречающимся является независимость испытаний, см. раздел «Основные понятия теории вероятностей») сделаны, вышеприведённое расплывчатое утверждение о близости частоты к вероятности может быть количественно уточнено.

Статистические закономерности, т. е. закономерности, описываемые схемой типа б), были впервые обнаружены на примере азартных игр, подобных игре в кости. Очень давно известны также статистические закономерности рождения, смерти (например, вероятность новорождённому быть мальчиком равна $0{,}515$). Конец 19 в. и 1-я половина 20 в. отмечены открытием большого числа статистических закономерностей в физике, химии, биологии и других науках. Следует отметить, что статистические закономерности возникают и в схемах, не связанных непосредственно с понятием случая, например в распределении цифр в таблицах функций и т. п. (см. Случайные и псевдослучайные числа); это обстоятельство используют, в частности, при «моделировании» случайных явлений (см. Метод статистических испытаний).

Возможность применения методов теории вероятностей к изучению статистических закономерностей, относящихся к весьма далёким друг от друга областям науки, основана на том, что вероятности событий всегда удовлетворяют некоторым простым соотношениям, о которых сказано ниже (см. раздел «Основные понятия теории вероятностей»). Изучение свойств вероятностей событий на основе этих простых соотношений и составляет предмет теории вероятностей.

Основные понятия теории вероятностей

Наиболее просто определяются основные понятия теории вероятностей как математической дисциплины в рамках т. н. элементарной теории вероятностей. Каждое испытание $T$, рассматриваемое в элементарной теории вероятностей, таково, что оно заканчивается одним и только одним из исходов, или, как говорят, одним из элементарных событий $\omega_1, \omega_2,\ldots,\omega_s$. С каждым исходом $\omega_k$ связывается неотрицательное число $p_k$ – вероятность этого исхода. Числа $p_k$ должны при этом в сумме давать единицу. Рассматриваются затем события $A$, заключающиеся в том, что

$$\text{«наступает или $\omega_i$, или $\omega_j$, или $\omega_k$».}$$Исходы $\omega_i,\omega_j,\ldots,\omega_k$ называются благоприятствующими $A$, и, по определению, полагают вероятность $\mathsf P(A)$ события $A$, равной сумме вероятностей благоприятствующих ему исходов:

$$\tag{1}\mathsf{P}(A)=p_i+p_j+\ldots+p_k.$$Частный случай $p_1=p_2=\ldots=p_s=1/s$ приводит к формуле

$$\tag{2}\mathsf{P}(A)=\frac rs.$$Формула (2) выражает т. н. классическое определение вероятности, в соответствии с которым вероятность какого-либо события $A$ равна отношению числа $r$ исходов, благоприятствующих $A$, к числу $s$ всех «равновозможных» исходов. Вычисление вероятностей сводится при этом к подсчёту числа благоприятствующих событию $A$ исходов и часто оказывается трудной комбинаторной задачей.

Пример. При бросании двух игральных костей каждый из $36$ возможных исходов может быть обозначен $(i, j)$, где $i$ – число очков, выпадающее на первой кости, $j$ – на второй. Исходы предполагаются равновероятными. Событию $A$ – «сумма очков равна $4$» – благоприятствуют три исхода $(1; 3)$, $(2; 2)$, $(3; 1)$. Следовательно, $\mathsf{P}(A) = 3/36= 1/12$.

Вопрос о том, как определяются численные значения вероятностей $p_k$ в данной конкретной задаче, лежит по существу за пределами теории вероятностей как чисто математической дисциплины. В одних случаях выбор этих значений производится на основе обработки результатов большого числа наблюдений. В других случаях возможно теоретическое предсказание вероятностей, с которыми те или иные события будут встречаться в данном испытании. Такое предсказание часто основывается на объективной симметрии связи между условиями, в которых производится испытание, и исходами этих испытаний, и приводит тогда к формуле (2). Пусть, например, испытание состоит в подбрасывании игральной кости, представляющей собой кубик из однородного материала. Тогда можно предполагать, что с вероятностью $1/6$ кость может упасть на каждую из своих граней. В этом примере предположение о равновероятности исходов находится в согласии с опытом. Такого рода примеры и послужили основой для классического определения вероятности.

Более тонкое и глубокое объяснение причин равновероятности исходов в некоторых специальных случаях даётся т. н. методом произвольных функций. Суть этого метода можно пояснить следующим образом на примере бросания кости. Пусть опыт поставлен так, что случайные воздействия на кость со стороны воздуха можно считать пренебрежимо малыми. Тогда, если точно даны начальное положение, начальная скорость кости и её механические характеристики, движение может быть рассчитано по законам классической механики, и результат опыта можно предсказать достоверно. Практически начальные условия не могут никогда быть фиксированы с абсолютной точностью и, например, даже очень малые изменения начальной скорости приводят к другому результату, если только время $t$ от момента подбрасывания до момента падения достаточно велико. Оказывается, что при очень широких допущениях относительно распределения вероятностей начальных значений (отсюда и название метода) вероятность каждого из шести возможных исходов стремится к $1/6$ при $t\to\infty$.

Другой пример – тасование колоды карт с целью достижения равновероятности всех возможных расположений. Здесь переход от одного расположения карт к другому при очередном тасовании обычно носит вероятностный характер. Факт стремления к равновероятности устанавливается методами теории цепей Маркова.

Оба случая могут быть включены в общую эргодическую теорию.

Исходя из каких-либо данных событий, можно определить два новых события: их объединение (сумму) и совмещение (произведение). Событие $B$ называется объединением событий $A_1,A_2,\ldots, A_r$, если оно имеет вид:

$$\text{«наступает или $A_1$, или $A_2$, \ldots, или $A_r$».}$$Событие $C$ называется совмещением событий $A_1,A_2,\ldots, A_r$, если оно имеет вид:

$$\text{«наступает и $A_1$, и $A_2$, \ldots, и $A_r$».}$$Объединение событий обозначают знаком ${\cup}$, а совмещение – знаком ${\cap}$. Таким образом, пишут:

$$B=A_1\cup A_2\cup\ldots\cup A_r,\quad C=A_1\cap A_2\cap\ldots\cap A_r.$$События $A$ и $B$ называются несовместными, если их одновременное осуществление невозможно, т. е. если не существует среди исходов испытания ни одного благоприятствующего и $A$, и $B$. Если события $A_i$ отождествить со множествами благоприятствующих им исходов, то события $B$ и $C$ будут отождествляться с объединением и пересечением соответствующих множеств.

С введёнными операциями связаны две основные теоремы теории вероятностей – теоремы сложения и умножения вероятностей.

Теорема сложения вероятностей. Если события $A_1,A_2,\ldots, A_r$ таковы, что каждые два из них несовместны, то вероятность их объединения равна сумме их вероятностей.

Так, в приведённом выше примере с бросанием двух костей событие $B$ – «сумма очков не превосходит $4$» – есть объединение трёх несовместных событий $A_2, A_3, A_4$, заключающихся в том, что сумма очков равна соответственно $2$, $3$, $4$. Вероятности этих событий $1/36; 2/36; 3/36$. По теореме сложения вероятность $\mathsf{P}(B)$ равна

$$1/36+2/36+3/36=6/36= 1/6.$$Условную вероятность события $B$ при условии $A$ определяют формулой

$$\mathsf{P}(B\mid A)=\frac{\mathsf{P}(A\cap B)}{\mathsf{P}(A)},$$что, как можно показать, находится в полном соответствии со свойствами частот. События $A_1,A_2,\ldots, A_r$ называются независимыми, если условная вероятность каждого из них при условии, что какие-либо из остальных наступили, равна его «безусловной» вероятности (см. также Независимость в теории вероятностей).

Теорема умножения вероятностей. Вероятность совмещения событий $A_1,A_2,\ldots, A_r$ равна вероятности события $A_1$, умноженной на вероятность события $A_2$, взятую при условии, что $A_1$ наступило, $\ldots$, умноженной на вероятность события $A_r$ при условии, что $A_1,A_2,\ldots, A_{r-1}$ наступили. Для независимых событий теорема умножения приводит к формуле:

$$\tag{3}\mathsf{P}(A_1\cap A_2\cap\ldots\cap A_r)=\mathsf{P}(A_1)\mathsf{P}(A_2)\ldots\mathsf{P}(A_r),$$т. е. вероятность совмещения независимых событий равна произведению вероятностей этих событий. Формула (3) остаётся справедливой, если в обеих её частях некоторые из событий заменить на противоположные им.

Пример. Производится $4$ выстрела по цели с вероятностью попадания $0{,}2$ при отдельном выстреле. Попадания в цель при различных выстрелах предполагаются независимыми событиями. Какова вероятность попадания в цель ровно три раза?

Каждый исход испытания может быть обозначен последовательностью из четырёх букв [например, (у, н, н, у) означает, что при первом и четвёртом выстрелах были попадания (успех), а при втором и третьем – попаданий не было (неудача)]. Всего будет $2\cdot2\cdot2\cdot2=16$ исходов. В соответствии с предположением о независимости результатов отдельных выстрелов следует для определения вероятностей этих исходов использовать формулу (3) и примечание к ней. Так, вероятность исхода (у, н, н, н) следует положить равной

$$0{,}2\cdot 0{,}8\cdot 0{,}8\cdot 0{,}8=0{,}1024;$$здесь $0{,}8=1 - 0{,}2$ – вероятность промаха при отдельном выстреле. Событию «в цель попадают три раза» благоприятствуют исходы (у, у, у, н), (у, у, н, у), (у, н, у, у), (н, у, у, у), вероятность каждого одна и та же:

$$0{,}2\cdot 0{,}2\cdot 0{,}2\cdot 0{,}8=\ldots = 0{,}8\cdot 0{,}2\cdot 0{,}2 \cdot 0{,}2=0{,}0064;$$следовательно, искомая вероятность равна

$$4\cdot 0{,}0064=0{,}0256.$$Обобщая рассуждения разобранного примера, можно вывести одну из основных формул теории вероятностей: если события $A_1,A_2\ldots, A_n$ независимы и имеют каждое вероятность $p$, то вероятность наступления ровно $m$ из них равна

$$\tag{4}P_n(m)=C^m_np^m(1-p)^{n-m};$$здесь $C^m_n$ обозначает число сочетаний из $n$ элементов по $m$ (см. Биномиальное распределение). При больших $n$ вычисления по формуле (4) становятся затруднительными. Пусть в предыдущем примере число выстрелов равно $100$ и ставится вопрос об отыскании вероятности $x$ того, что число попаданий лежит в пределах от $8$ до $32$. Применение формулы (4) и теоремы сложения даёт точное, но практически малопригодное выражение искомой вероятности

$$x=\sum_{m=8}^{32}C^m_{100}(0{,}2)^m(0{,}8)^{100-m}.$$Приближённое значение вероятности x можно найти по теореме Лапласа

$$x\approx\frac{1}{\sqrt{2\pi}}\int\limits_{-3}^{+3}e^{-z^2/2}\,dz=-0{,}9973,$$причём ошибка не превосходит $0{,}0009$. Найденный результат показывает, что событие $8\leqslant m\leqslant 32$ практически достоверно. Это самый простой, но типичный пример использования предельных теорем теории вероятностей.

К числу основных формул элементарной теории вероятностей относится также т. н. формула полной вероятности: если события $A_1,A_2\ldots, A_r$ попарно несовместны и их объединение есть достоверное событие, то для любого события $B$ его вероятность равна сумме

$$\mathsf{P}(B)=\sum_{k=1}^r\mathsf{P}(B\mid A_k)\mathsf{P}(A_k).$$Теорема умножения вероятностей оказывается особенно полезной при рассмотрении составных испытаний. Говорят, что испытание $T$ составлено из испытаний $T_1,T_2,\ldots, T_{n-1}, T_n,$ если каждый исход испытания $T$ есть совмещение некоторых исходов $A_i, B_j, \ldots, X_k, Y_l$ соответствующих испытаний $T_1,T_2,\ldots, T_{n-1}, T_n$. Из тех или иных соображений часто бывают известны вероятности$$\tag{5}\mathsf{P}(A_i),\ \mathsf{P}(B_j\mid A_i),\ \ldots, \ \mathsf{P}(Y_l\mid A_i\cap B_j\cap\ldots\cap X_k).$$По вероятностям (5) с помощью теоремы умножения могут быть определены вероятности $\mathsf{P}(E)$ для всех исходов $E$ составного испытания, а вместе с тем и вероятности всех событий, связанных с этим испытанием (подобно тому как это было сделано в разобранном выше примере). Наиболее значительными с практической точки зрения представляются два типа составных испытаний: а) составляющие испытания независимы, т. е. вероятности (5) равны безусловным вероятностям $\mathsf{P}(A_i), \mathsf{P}(B_j), \ldots \mathsf{P}(X_k), \mathsf{P}(Y_l)$; б) на вероятности исходов какого-либо испытания влияют результаты лишь непосредственно предшествующего испытания, т. е. вероятности (5) равны соответственно: $\mathsf{P}(A_i), \mathsf{P}(B_j\mid A_i), \ldots, \mathsf{P}(Y_l\mid X_k)$. В этом случае говорят об испытаниях, связанных в цепь Маркова. Вероятности всех событий, связанных с составным испытанием, вполне определяются здесь начальными вероятностями $\mathsf{P}(A_i)$ и переходными вероятностями $\mathsf{P}(B_j\mid A_i), \ldots, \mathsf{P}(Y_l\mid X_k)$ (см. Марковский процесс).

Случайные величины. Если каждому исходу испытания $T$ поставлено в соответствие число $x_r$, говорят, что задана случайная величина $x$. Среди чисел $x_1, x_2\ldots x_s$, могут быть и равные; совокупность различных значений $x_r$ при $r=1, 2, \ldots, s$, называют совокупностью возможных значений случайной величины. Набор возможных значений случайной величины и соответствующих им вероятностей называется распределением вероятностей случайной величины. Так, в примере с бросанием двух костей с каждым исходом испытания $(i,j)$ связывается случайная величина $X=i+j$ – сумма очков на обеих костях. Возможные значения суть $2, 3, 4, ..., 11, 12$; соответствующие вероятности равны $1/36, 2/36, 3/36, ..., 2/36, 1/36$.

При одновременном изучении нескольких случайных величин вводится понятие их совместного распределения, которое задаётся указыванием возможных значений каждой из них и вероятностей совмещения событий

$$\tag{6}\{X_1=x_1\},\ \{X_2=x_2\},\ \ldots,\ \{X_n=x_n\},$$где $x_k$ – какое-либо из возможных значений величины $X_k$. Случайные величины называются независимыми, если при любом выборе $x_k$ события (6) независимы. С помощью совместного распределения случайных величин можно вычислить вероятность любого события, определяемого этими величинами, например события

$$a<X_1+X_2+\ldots+X_n<b$$и т. п.

Часто вместо полного задания распределения вероятностей случайной величины предпочитают пользоваться небольшим количеством числовых характеристик. Из них наиболее употребительны математическое ожидание и дисперсия (см. также Момент, Семиинвариант).

В число основных характеристик совместного распределения нескольких случайных величин, наряду с математическими ожиданиями и дисперсиями этих величин, включаются коэффициенты корреляции и т. п. Смысл перечисленных характеристик в значительной степени разъясняется предельными теоремами (см. раздел «Предельные теоремы»).

Схема испытаний с конечным числом исходов недостаточна уже для самых простых применений теории вероятностей. Так, при изучении случайного разброса точек попаданий снарядов вокруг центра цели, при изучении случайных ошибок, возникающих при измерении какой-либо величины, и т. д., уже невозможно ограничиться испытаниями с конечным числом исходов. При этом в одних случаях результат испытания может быть выражен числом или системой чисел, в других – результатом испытания может быть функция (например, запись изменения давления в данной точке атмосферы за данный промежуток времени), системы функций и т. п. Следует отметить, что многие данные выше определения и теоремы с соответствующими изменениями приложимы и в этих более общих обстоятельствах, хотя способы задания распределения вероятностей изменяются. Аналогом классической «равновероятности исходов» здесь служит равномерное распределение рассматриваемых объектов в какой-либо области (именно его имеют в виду, говоря о наудачу взятой из данной области точке, о наудачу взятой секущей данной фигуры и т. п.).

Наиболее серьёзное изменение претерпевает определение вероятности, которое в элементарном случае давалось формулой (2). В более общих схемах, о которых идёт речь, события являются объединениями бесконечного числа элементарных событий, вероятность каждого из которого может быть равна нулю. В соответствии с этим свойство, выраженное теоремой сложения, не выводится из определения вероятности, а включается в него.

Наиболее распространённая в настоящее время логическая схема построения основ теории вероятностей разработана в 1933 г. А. Н. Колмогоровым. Основные черты этой схемы следующие. При изучении какой-либо реальной задачи методами теории вероятностей прежде всего выделяется множество $U$ элементов $u$, называемых элементарными событиями. Всякое событие вполне описывается множеством благоприятствующих ему элементарных событий и потому рассматривается как некоторое множество элементарных событий. С некоторыми из событий $A$ связываются определённые числа $\mathsf{Р}(A)$, называемые их вероятностями и удовлетворяющие условиям
1) $0\leqslant\mathsf{P}(A)\leqslant1$;
2) $\mathsf{P}(U) = 1$;
3) если события $A_1,A_2,\ldots,A_n$ попарно несовместны и $A$ – их сумма, то $\mathsf{P}(A)=\mathsf{P}(A_1)+\mathsf{P}(A_2)+\ldots+\mathsf{P}(A_n)$(аддитивность вероятности).

Для создания полноценной математической теории требуют, чтобы область определения $\mathsf{P}(A)$ была $\sigma$-алгеброй и чтобы условие 3) выполнялось и для бесконечных последовательностей попарно несовместных событий (счётная аддитивность вероятности). Свойства неотрицательности и счётной аддитивности есть основные свойства меры множества. Теория вероятностей может, таким образом, с формальной точки зрения рассматриваться как часть теории меры. Основные понятия теории вероятностей получают при таком подходе новое освещение. Случайные величины превращаются в измеримые функции, их математические ожидания – в абстрактные интегралы Лебега, и т. п. Однако основные проблемы теории вероятностей и теории меры различны. Основным, специфическим для теории вероятностей является понятие независимости событий, испытаний, случайных величин. Наряду с этим теория вероятностей тщательно изучает и такие объекты, как условные распределения, условные математические ожидания и т. п.

В отношении указанной выше схемы можно сделать следующие замечания. В соответствии с ней в основе каждой вероятностной модели лежит вероятностное пространство, рассматриваемое как тройка $(\Omega, \mathscr{A}, \mathsf{P})$, где $\Omega$ – множество элементарных событий, $\mathscr{A}$ – выделенная в $\Omega$ $\sigma$-алгебра подмножеств, $\mathsf{P}$ – распределение вероятностей (счётно-аддитивная нормированная мера) на $\mathscr{A}$. Два достижения, связанных с этой схемой, – определение вероятностей в бесконечномерных пространствах (в частности, вероятностей, связанных с бесконечными последовательностями испытаний и случайными процессами) и общее определение условных вероятностей и условных математических ожиданий (по отношению к данной случайной величине и т. п.).

При последующем развитии теории вероятностей выяснилось, что указанное общее определение вероятностного пространства целесообразно ограничить. Так появились понятия совершенных распределений, плотных распределений и т. п.

Известны и другие подходы к основным понятиям теории вероятностей, например аксиоматизация, при которой основным объектом становятся нормированные булевы алгебры событий. Основное преимущество (в предположении, что рассматриваемая алгебра полна в метрическом смысле) здесь состоит в том, что для любых направленных систем событий выполняются соотношения

$$\begin{gathered} \mathsf{P}\Bigl(\bigcup_\alpha A_\alpha\Bigr)= \sup_\alpha\mathsf{P}(A_\alpha),\quad {A_\alpha\uparrow{}},\\ \mathsf{P}\Bigl(\bigcap_\alpha A_\alpha\Bigr)= \inf_\alpha\mathsf{P}(A_\alpha),\quad {A_\alpha\downarrow{}}.\\ \end{gathered}$$Возможна аксиоматизация понятия случайной величины как элемента некоторой коммутативной алгебры, на которой определён линейный функционал (аналог математического ожидания).

Предельные теоремы

При формальном изложении теории вероятностей предельные теоремы появляются в виде своего рода надстройки над её элементарными разделами, в которых все задачи имеют конечный, чисто арифметический характер. Однако познавательная ценность теории вероятностей раскрывается только предельными теоремами. Так, теорема Бернулли показывает, что при независимых испытаниях частота появления какого-либо события, как правило, мало отклоняется от его вероятности, а теорема Лапласа указывает вероятности тех или иных отклонений. Аналогично смысл таких характеристик случайной величины, как её математическое ожидание и дисперсия, разъясняется законом больших чисел и центральной предельной теоремой (см. Закон больших чисел, Усиленный закон больших чисел, Предельные теоремы).

Пусть

$$\tag{7}X_1,X_2,\ldots,X_n,\ldots$$– независимые случайные величины, имеющие одно и то же распределение вероятностей с $\mathsf{E}X_k=a$, $\mathsf{D}X_k=\sigma^2$, и $Y_n$ – среднее арифметическое первых $n$ величин из последовательности (7):

$$Y_n=(X_1 + X_2+\ldots+X_n)/n.$$В соответствии с законом больших чисел, каково бы ни было $\varepsilon>0$, вероятность неравенства $|Y_n-a|\leqslant \varepsilon$ имеет при $n\to\infty$ пределом $1$ и, таким образом, $Y_n$, как правило, мало отличается от $a$. Центральная предельная теорема уточняет этот результат, показывая, что отклонения $Y_n$ от $a$ приближённо подчинены нормальному распределению со средним $0$ и дисперсией $\sigma^2/n$. Таким образом, для вычисления (в первом приближении) вероятностей тех или иных отклонений $Y_n$ от $a$ при больших $n$ нет надобности знать во всех деталях распределение величин $X_n$; достаточно знать лишь их дисперсию. При необходимости увеличить точность приближения необходимо привлекать моменты более высокого порядка.

Эти утверждения могут быть с надлежащими изменениями распространены на случайные векторы (из конечномерных и некоторых бесконечномерных векторных пространств). Условия независимости могут быть заменены условиями «слабой» (в том или ином смысле) зависимости $X_n$. Известны также предельные теоремы для распределений на группах, для распределений значений арифметических функций и т. д.

В приложениях (в частности, в математической статистике и статистической физике) возникает необходимость аппроксимировать малые вероятности (событий типа $|Y_n-a|> \varepsilon$) с большой относительной точностью. Это приводит к значительным поправкам в аппроксимации нормальным законом (см. Вероятности больших отклонений).

В 20-х гг. 20 в. было обнаружено, что даже в схеме последовательности одинаково распределённых и независимых случайных величин могут вполне естественным образом возникать предельные распределения, отличные от нормального. Так, например, если $X_1$ – время до первого возвращения некоторой случайно меняющейся системы в исходное положение, $X_2$ – время между первым и вторым возвращениями и т. д., то при очень общих условиях распределение суммы $X_1+\ldots+X_n$ (т. е. времени до $n$-го возвращения) после умножения на $n^{-1/\alpha}$ ($\alpha$ – постоянная, меньшая $1$) сходится к некоторому предельному распределению. Таким образом, время до $n$-го возвращения растёт, грубо говоря, как $n^{1/\alpha}$, т. е. быстрее $n$ (в случае приложимости закона больших чисел оно было бы порядка $n$). Это обстоятельство видно уже в примере блуждания Бернулли (где проявляется и другой парадоксальный закон – закон арксинуса).

Основным методом доказательства предельных теорем является метод характеристических функций (и близкие к нему методы преобразований Лапласа и производящих функций). В ряде случаев необходимо обращение к методам теории функций комплексного переменного.

Механизм возникновения большинства предельных закономерностей может быть до конца понят лишь в связи с теорией случайных процессов.

Случайные процессы

В ряде физических и химических исследований последних десятилетий возникла потребность, наряду с одномерными и многомерными случайными величинами, рассматривать случайные процессы, т. е. процессы, для которых определена вероятность того или иного их течения. Примером случайного процесса может служить координата частицы, совершающей броуновское движение. В теории вероятностей случайный процесс рассматривают обычно как однопараметрическое семейство случайных величин $X(t)$. В подавляющем числе приложений параметр $t$ является временем, но этим параметром может быть, например, произвольное независимое переменное, и тогда обычно говорят о случайной функции (если $t$ точка пространства, то – о случайном поле). В том случае, когда параметр $t$ пробегает целочисленные значения, случайная функция называется случайной последовательностью (или временны́м рядом). Подобно тому как случайная величина характеризуется законом распределения, случайный процесс может быть охарактеризован совокупностью совместных законов распределения для $X(t_1), X(t_2), \ldots, X(t_n)$ для всевозможных моментов времени $t_1, t_2, \ldots, t_n$ при любом $n>0$ (т. н. конечномерными распределениями). Наиболее интересные конкретные результаты теории случайных процессов получены в двух специальных направлениях – марковские процессы и стационарные случайные процессы, наряду с ними сильно повысился интерес к мартингалам.

Исторически первыми изучались марковские процессы. Случайный процесс $X(t)$ называется марковским, если для любых двух моментов времени $t_0$ и $t_1$ (где $t_0<t_1$) условное распределение вероятностей $X(t_1)$ при условии, что заданы все значения $X(t)$ при $t\leqslant t_0$, зависит только от $X(t_0)$ (в силу этого марковские случайные процессы иногда называются процессами без последействия). Марковские процессы являются естественным обобщением детерминированных процессов, рассматриваемых в классической физике. В детерминированных процессах состояние системы в момент времени $t_0$ однозначно определяет ход процесса в будущем; в марковских процессах состояние системы в момент времени $t_0$ однозначно определяет распределение вероятностей хода процесса при $t>t_0$, причём никакие сведения о ходе процесса до момента времени $t_0$ не изменяют это распределение.

Подобно тому как изучение непрерывных детерминированных процессов сводится к дифференциальным уравнениям относительно функций, описывающих состояние системы, изучение непрерывных марковских процессов сводится к дифференциальным или интегро-дифференциальным уравнениям относительно распределения вероятностей процесса.

Вторым крупным направлением случайных процессов является теория стационарных случайных процессов. Стационарность процесса, т. е. неизменность во времени его вероятностных закономерностей, налагает сильное ограничение на процесс и позволяет из одного этого допущения извлечь ряд важных следствий.

Для большей части теории достаточно предположения о стационарности в широком смысле, т. е. требования независимости от $t$ математических ожиданий $\mathsf{E}X(t)$ и $\mathsf{E}X(t)X(t+\tau)$. Из этого предположения вытекает возможность т. н. спектрального разложения

$$X(t)=\int\limits_{-\infty}^{+\infty}e^{it\lambda}\,dz(\lambda),$$где $z(\lambda)$ – случайная функция с некоррелированными приращениями. Для стационарных процессов развиты способы наилучшей (в среднем квадратичном) линейной интерполяции, экстраполяции и фильтрации.

В последнее время выделен довольно широкий класс процессов, для которых эффективно решаются задачи наилучшей нелинейной фильтрации, интерполяции и экстраполяции (см. Прогнозирование случайных процессов). Существенную часть соответствующего аналитического аппарата составляют стохастические дифференциальные уравнения, стохастические интегралы и мартингалы. Отличительное свойство мартингала $X(t)$ состоит в том, что условное математическое ожидание $X(t)$ при условии, что известно поведение процесса до момента $s<t$, равно $X(s)$.

Теория случайных процессов тесно связана с классической проблематикой предельных теорем для сумм случайных величин. Те законы распределения, которые выступают при изучении сумм случайных величин как предельные, в теории случайных процессов являются точными законами распределения соответствующих характеристик. Этот факт позволяет доказывать многие предельные теоремы с помощью соответствующих случайных процессов.

В заключение следует добавить, что логически безупречное определение понятий, связанных со случайными процессами, в рамках указанной выше аксиоматики создавало и создаёт много трудностей теоретико-множественного характера (связанных, например, с определением вероятности, непрерывности или дифференцируемости и т. п. свойств случайных процессов, см. Сепарабельный процесс). Поэтому, в частности, в монографиях по теории случайных процессов около половины объёма отводится анализу развития теоретико-множественных конструкций.

Исторический очерк

Первые работы по теории вероятностей, принадлежащие Б. Паскалю, П. Ферма и Х. Гюйгенсу, появились в середине 17 в. и были связаны с подсчётом различных вероятностей в азартных играх. Первый строго доказанный результат теории вероятностей принадлежит Я. Бернулли, установившему закон больших чисел для схемы независимых испытаний с двумя исходами (опубликовано в 1713).

Второй период истории теории вероятностей (18 – 1-я половина 19 вв.) связан с именами А. де Муавра, П.-С. Лапласа, К. Гаусса и С. Пуассона. В этот период теория вероятностей находит ряд актуальных применений в естествознании и технике, главным образом в теории ошибок, развившейся в связи с потребностями геодезии и астрономии, и в теории стрельбы. К этому периоду относятся доказательство первого варианта центральной предельной теоремы (А. де Муавр, 1733, П. Лаплас, 1812) и теоремы Пуассона. А.-М. Лежандром (1806) и К. Гауссом (1794–1795) был разработан метод наименьших квадратов. В 18 в. ряд трудов по теории вероятностей был написан работавшими в России Л. Эйлером, Н. Бернулли и Д. Бернулли; появились работы М. В. Остроградского по вопросам теории вероятностей, связанным с математической статистикой, и В. Я. Буняковского по применениям теории вероятностей к страховому делу, статистике и демографии.

Третий период истории теории вероятностей (2-я половина 19 в.) связан в основном с именами П. Л. Чебышёва и его учеников А. М. Ляпунова и А. А. Маркова. Они поставили ряд общих задач, решение которых привело к обобщению теорем Бернулли и Муавра – Лапласа. Чебышёв доказал (1867) закон больших чисел при весьма общих предположениях. Он же впервые сформулировал центральную предельную теорему для сумм независимых случайных величин и указал один из методов её доказательства (1887). Другим методом доказательство этой теоремы в условиях, близких к окончательным, получил А. М. Ляпунов (1901). А. А. Марков впервые рассмотрел (1907) один случай зависимых испытаний, который впоследствии получил название цепей Маркова. Со 2-й половины 19 в. исследования по теории вероятностей в России занимают ведущее место в мире. В Западной Европе во 2-й половине 19 в. получили большое развитие работы по математической статистике (А. Кетле, Ф. Гальтон) и статистической физике (Л. Больцман), которые наряду с основными теоретическими работами П. Л. Чебышева, А. М. Ляпунова и А. А. Маркова создали основу для существенного расширения проблематики теории вероятностей в современный период её развития.

Четвёртый (современный) период истории теории вероятностей, начавшийся в 20 в., характеризуется существенным расширением круга её применений, созданием нескольких систем строгого математического обоснования теории вероятностей, появлением новых мощных методов, требующих применения, помимо классического анализа, средств теории множеств, теории функций действительного переменного и функционального анализа. В области теории вероятностей плодотворно работали во Франции – Э. Борель, П. Леви, М. Фреше, в Германии – Р. Мизес, в США – Н. Винер, У. Феллер, Дж. Дуб, в Швеции – Г. Крамер. Отечественная наука продолжала занимать значительное, а в ряде направлений и ведущее положение. В нашей стране новый период развития теории вероятностей открывается деятельностью С. Н. Бернштейна, обобщившего классические предельные теоремы П. Л. Чебышева, А. М. Ляпунова и А. А. Маркова и указавшего на ряд применений теории вероятностей в естествознании. А. Я. Хинчин и А. Н. Колмогоров успешно применяли методы теории функций действительного переменного к теории вероятностей. В 1930-х гг. ими и Е. Е. Слуцким были заложены основы теории случайных процессов. В. И. Романовский, Н. В. Смирнов, Ю. В. Линник и Л. Н. Большев внесли большой вклад в развитие математической статистики, применяя методы теории вероятностей к статистическим задачам.