Статистическая оценка

Статисти́ческая оце́нка, функция от результатов наблюдений, предназначенная для оценивания неизвестных параметров распределения вероятностей. Например, если результаты наблюдений ${\displaystyle X_{1},\ldots ,X_{n}}$ – независимые случайные величины, имеющие одно и то же нормальное распределение с неизвестным математическим ожиданием ${\displaystyle \theta }$, то выборочное среднее – среднее арифметическое результатов наблюдений –

${\displaystyle {\overline {X}}={\frac {X_{1}+...+X_{n}}{n}}}$

и выборочная медиана ${\displaystyle \mu _{n}=\mu _{n}(X_{1},\ldots ,X_{n})}$ являются статистическими оценками неизвестного параметра ${\displaystyle \theta }$. Статистические оценки, дающие числовые приближения неизвестного числа, называются точечными, только они и рассматриваются в дальнейшем. О других статистических оценках см. в статье Доверительный интервал.

В качестве статистических оценок какого-либо параметра распределения вероятностей естественно выбирать такую функцию ${\displaystyle \theta _{n}^{*}=\theta _{n}^{*}(X_{1},\ldots ,X_{n})}$ от результатов наблюдений, которая в некотором смысле близка к истинному значению параметра. Применяя какую-либо меру близости, можно сравнивать различные статистические оценки. Обычно мерой близости статистической оценки к истинному значению параметра служит величина среднего значения квадрата ошибки

${\displaystyle {\mathsf {E}}_{\theta }(\theta _{n}^{*}-\theta )^{2}={\mathsf {D}}_{\theta }\theta _{n}^{*}+(\theta -{\mathsf {E}}_{\theta }\theta _{n}^{*})^{2},}$

выражающаяся через математическое ожидание оценки ${\displaystyle {\mathsf {E}}_{\theta }\theta _{n}^{*}}$ и её дисперсию ${\displaystyle {\mathsf {D}}_{\theta }\theta _{n}^{*}}$, вычисленные по распределению, зависящему от неизвестного значения ${\displaystyle \theta }$. В классе всех несмещённых оценок наилучшими с этой точки зрения будут статистические оценки, имеющие при заданном ${\displaystyle n}$ минимальную возможную дисперсию при всех ${\displaystyle \theta }$, такие статистические оценки называются эффективными. Указанная выше статистическая оценка ${\displaystyle {\overline {X}}_{n}}$ для параметра ${\displaystyle \theta }$ нормального распределения является наилучшей несмещённой оценкой, поскольку дисперсия любой другой несмещённой оценки будет больше ${\displaystyle {\mathsf {D}}_{\theta }{\overline {X}}_{n}=\sigma ^{2}/n}$, где ${\displaystyle \sigma ^{2}}$ – дисперсия исходного нормального распределения (см. также Неравенство Рао – Крамера). В конкретных случаях отыскание наилучших оценок облегчается с помощью достаточных статистик, т. к. наилучшую несмещённую оценку нужно искать в классе статистических оценок, зависящих только от достаточных статистик.

Имея в виду построение статистических оценок для больших значений ${\displaystyle n}$, изучают также асимптотические свойства оценок. Естественно, например, предполагать, что вероятность отклонений ${\displaystyle \theta _{n}^{*}}$ от истинного значения параметра ${\displaystyle \theta }$, превосходящих любое наперёд заданное число, будет стремиться к нулю при ${\displaystyle n\to \infty }$. Статистические оценки с таким свойством называются состоятельными оценками. Несмещённая статистическая оценка, дисперсия которой стремится к нулю при ${\displaystyle n\to \infty }$, является состоятельной. Асимптотическое сравнение статистических оценок производят по отношению их асимптотических дисперсий. Так, среднее арифметическое ${\displaystyle {\overline {X}}_{n}}$ в приведённом выше примере – наилучшая и, следовательно, асимптотически наилучшая статистическая оценка для параметра ${\displaystyle \theta }$, тогда как выборочная медиана ${\displaystyle \mu _{n}}$, являющаяся также несмещённой оценкой, не является асимптотически наилучшей, т. к. предел отношения ${\displaystyle {\mathsf {D}}_{\theta }{\overline {X}}_{n}}$ к ${\displaystyle {\mathsf {D}}_{\theta }\mu _{n}}$ при ${\displaystyle n\to \infty }$ равен ${\displaystyle 2/\pi <1}$. Тем не менее использование ${\displaystyle \mu _{n}}$ имеет свои положительные стороны; например, если истинное распределение не является в точности нормальным и при этом для него по-прежнему математическое ожидание совпадает с медианой, то дисперсия ${\displaystyle {\overline {X}}_{n}}$ может сильно возрасти, а дисперсия ${\displaystyle \mu _{n}}$ останется почти той же, т. е. ${\displaystyle \mu _{n}}$ обладает свойством, называемым робастностью.

Один из распространённых общих методов получения статистических оценок параметров распределения – метод максимального правдоподобия.

См. также Непараметрические методы математической статистики.