Метод максимального правдоподобия

Ме́тод максима́льного правдоподо́бия, метод нахождения статистических оценок неизвестных параметров распределения случайной величины ${\displaystyle X}$, согласно которому в качестве оценок выбираются те значения параметров, при которых данные результаты наблюдений в некотором смысле «наиболее вероятны». Обычно предполагается, что результаты наблюдений ${\displaystyle X_{1},...,X_{n}}$ над ${\displaystyle X}$ являются взаимно независимыми случайными величинами с одним и тем же распределением вероятностей, зависящим от неизвестного параметра ${\displaystyle \theta }$ из известного множества допустимых значений. Для придания точного смысла выражению «наиболее вероятны» поступают следующим образом. Вводят функцию от переменных ${\displaystyle x_{1},...,x_{n}}$ и ${\displaystyle \theta }$

${\displaystyle L(x_{1},...,x_{n};\theta )=p(x_{1};\theta )...p(x_{n};\theta ),}$

где ${\displaystyle p(x;\theta )}$ в случае непрерывного распределения вероятностей случайной величины ${\displaystyle X}$ – плотность этого распределения, а в дискретном случае – вероятность того, что ${\displaystyle X}$ принимает значение ${\displaystyle x}$. Функцию ${\displaystyle L(X_{1},...,X_{n};\theta )}$ от случайных величин ${\displaystyle X_{1},...,X_{n}}$, рассматриваемую как функцию параметра ${\displaystyle \theta }$, называют функцией правдоподобия, а оценкой максимального правдоподобия параметра ${\displaystyle \theta }$ называют такое значение ${\displaystyle {\hat {\theta }}={\hat {\theta }}(X_{1},...,X_{n})}$ (являющееся случайной величиной), при котором функция правдоподобия достигает наибольшего значения. Так как точка максимума для ${\displaystyle \ln L}$ та же, что и для ${\displaystyle L}$, в качестве оценки максимального правдоподобия выбирают решение ${\displaystyle {\hat {\theta }}}$ т. н. уравнения правдоподобия

${\displaystyle {\frac {d\ln L(X_{1},...X_{n};\theta )}{d\theta }}=0}$.

Метод максимального правдоподобия в достаточно широком круге практически важных случаев является в известном смысле наилучшим. Так, например, если для параметра ${\displaystyle \theta }$ существует несмещённая эффективная оценка ${\displaystyle \theta ^{*}}$ по выборке объёма ${\displaystyle n}$, то уравнение правдоподобия имеет единственное решение ${\displaystyle {\hat {\theta }}=\theta ^{*}}$. Об асимптотическом поведении оценок максимального правдоподобия при больших ${\displaystyle n}$ известно, что при некоторых общих условиях метод максимального правдоподобия приводит к несмещённым оценкам, которые асимптотически нормальны и асимптотически эффективны.

Данный подход обобщается на случай нескольких неизвестных параметров и на случай выборок из многомерных распределений. Метод максимального правдоподобия в его современном виде был предложен Р. Э. Фишером (1912), однако в частных случаях метод использовался К. Ф. Гауссом, а в 18 в. подходы к идее этого метода встречались у И. Г. Ламберта и Д. Бернулли.