Метод максимального правдоподобия
Ме́тод максима́льного правдоподо́бия, метод нахождения статистических оценок неизвестных параметров распределения случайной величины , согласно которому в качестве оценок выбираются те значения параметров, при которых данные результаты наблюдений в некотором смысле «наиболее вероятны». Обычно предполагается, что результаты наблюдений над являются взаимно независимыми случайными величинами с одним и тем же распределением вероятностей, зависящим от неизвестного параметра из известного множества допустимых значений. Для придания точного смысла выражению «наиболее вероятны» поступают следующим образом. Вводят функцию от переменных и где в случае непрерывного распределения вероятностей случайной величины – плотность этого распределения, а в дискретном случае – вероятность того, что принимает значение . Функцию от случайных величин , рассматриваемую как функцию параметра , называют функцией правдоподобия, а оценкой максимального правдоподобия параметра называют такое значение (являющееся случайной величиной), при котором функция правдоподобия достигает наибольшего значения. Так как точка максимума для та же, что и для , в качестве оценки максимального правдоподобия выбирают решение т. н. уравнения правдоподобия
Метод максимального правдоподобия в достаточно широком круге практически важных случаев является в известном смысле наилучшим. Так, например, если для параметра существует несмещённая эффективная оценка по выборке объёма , то уравнение правдоподобия имеет единственное решение . Об асимптотическом поведении оценок максимального правдоподобия при больших известно, что при некоторых общих условиях метод максимального правдоподобия приводит к несмещённым оценкам, которые асимптотически нормальны и асимптотически эффективны.
Данный подход обобщается на случай нескольких неизвестных параметров и на случай выборок из многомерных распределений. Метод максимального правдоподобия в его современном виде был предложен Р. Э. Фишером (1912), однако в частных случаях метод использовался К. Ф. Гауссом, а в 18 в. подходы к идее этого метода встречались у И. Г. Ламберта и Д. Бернулли.