Марковский процесс
Ма́рковский проце́сс, случайный процесс без последействия. Класс марковских процессов широко применяется в различных разделах естествознания и техники. Марковские процессы являются моделями многих процессов в физике (распад радиоактивного вещества, каскадные процессы), в биологии (рост популяций, процессы мутаций, распространение эпидемий), в астрономии (флуктуация яркости галактик), в химии, в теории массового обслуживания.
Случайный процесс называется марковским, если для любых двух моментов времени и условное распределение случайной величины при условии, что заданы все значения случайных величин при , зависит только от значения случайной величины . Это свойство, определяющее марковский процесс, называется марковским свойством или отсутствием последействия: состояние процесса в момент времени однозначно определяет распределение вероятностей будущего развития процесса при , а информация о прошлом поведении процесса до момента не влияет на это распределение. В этом смысле марковский процесс обобщают детерминированные процессы классической физики. Развитие теории марковских процессов началось в 1907 г. с работ А. А. Маркова, посвящённых изучению последовательностей зависимых случайных величин (см. Цепь Маркова). Общая теория марковских процессов и их классификация были даны А. Н. Колмогоровым (1931).
Первым был исследован подкласс марковских процессов с дискретным множеством состояний. Пусть в каждый момент времени некоторая система может находиться в одном из состояний и с течением времени случайным образом переходит из одного состояния в другое. Для марковских процессов переход из состояния в некоторый момент времени в состояние за промежуток времени определяется вероятностью или в однородном случае [т. е. когда зависит только от ], причём эта вероятность не зависит от того, как этот процесс развивался в прошлом, т. е. до момента времени . Вероятности называются переходными вероятностями. При очень широких условиях переходные вероятности марковских процессов удовлетворяют системе линейных однородных дифференциальных уравнений. Типичным примером таких марковских процессов является ветвящийся процесс.
Большое значение в приложениях имеют марковские процессы, для которых случайное состояние некоторой системы зависит от непрерывно меняющихся параметров. Важным представителем таких марковских процессов служит физический процесс диффузии, в котором состояние системы описывается непрерывно изменяющейся координатой некоторой частицы. В этом случае вместо переходных вероятностей рассматривают соответствующие плотности вероятности , по которым вычисляются вероятности того, что частица, находившаяся в точке с координатой , через промежуток времени будет иметь координату, заключённую между и . При некоторых общих условиях плотности удовлетворяют дифференциальному уравнению с частными производными
которое рассматривалось в физике для диффузионного процесса Фоккера – Планка. В этом уравнении коэффициент представляет собой среднюю скорость изменения координаты , а коэффициент – интенсивность случайных колебаний около этой средней скорости. Важным представителем этого класса марковских процессов является броуновское движение, математической моделью которого служит винеровский процесс.