Проверка статистических гипотез
Прове́рка статисти́ческих гипо́тез, один из основных разделов математической статистики, объединяющий методы проверки соответствия статистических данных некоторой статистической гипотезе о вероятностной природе данных. Процедуры проверки статистических гипотез позволяют принимать или отвергать статистические гипотезы, возникающие при обработке или интерпретации результатов наблюдений во многих практически важных разделах науки и производства, связанных со случайностью. Правило, в соответствии с которым принимается или отклоняется данная гипотеза, называется статистическим критерием. Построение критерия определяется выбором подходящей функции от результатов наблюдений , которая служит мерой расхождения между фактическими и гипотетическими значениями. Эта функция, являющаяся случайной величиной, называется статистикой критерия, при этом предполагается, что распределение вероятностей может быть вычислено при допущении, что проверяемая гипотеза верна и что распределение не зависит от характеристик гипотетического распределения. По распределению статистики находится критическое значение такое, что вероятность неравенства равна , где – заранее заданный уровень значимости (область значений , для которых , т. е. область отклонения гипотезы , называемая критической областью). Если в конкретном случае обнаружится, что , то считается, что расхождение значимо и гипотеза отвергается, тогда как появление значения не противоречит гипотезе. Такого рода критерии, называемые критериями значимости, используются для проверки как гипотез о параметрах распределения, так и гипотез о самих распределениях. В частном случае, когда проверяется согласие между выборочным и гипотетическим распределением, пользуются термином критерий согласия.
Пусть, например, проверяется гипотеза о том, что независимые наблюдения имеют нормальное распределение со средним значением при известной дисперсии . В этом случае среднее арифметическое результатов наблюдений распределено нормально с математическим ожиданием и дисперсией , а величина
имеет стандартное нормальное распределение. Полагая можно найти связь между и , скажем, по таблицам нормального распределения (величина является квантилью порядка или, что то же самое, абсолютной величиной квантили порядка стандартного нормального распределения). Например, при гипотезе событие имеет вероятность . Правило, в соответствии с которым гипотеза объявляется неверной при , будет приводить к отбрасыванию этой гипотезы в среднем в случаях из , в которых она верна. Если же , то это ещё не означает, что гипотеза подтверждается, т. к. указанное неравенство с большой вероятностью может выполняться при , близких к . Таким образом, при использовании предложенного критерия можно лишь утверждать, что результаты наблюдений не противоречат гипотезе .
Если дисперсия неизвестна, то для проверки гипотезы вместо приведённого выше критерия можно пользоваться критерием Стьюдента, основанным на величине которая включает несмещённую оценку дисперсии и имеет распределение Стьюдента с степенью свободы. Полагая можно найти связь между и по таблицам распределения Стьюдента.
При решении вопроса о принятии или отклонении какой-либо гипотезы с помощью любого критерия, основанного на результатах наблюдения, могут быть допущены ошибки двух типов. Ошибка «первого рода» совершается тогда, когда отвергается верная гипотеза . Ошибка «второго рода» совершается в том случае, когда гипотеза принимается, а на самом деле верна не она, а какая-либо альтернативная гипотеза . Естественно требовать, чтобы критерий для проверки данной гипотезы приводил возможно реже к ошибочным решениям. Обычная процедура построения наилучшего критерия для проверки простой статистической гипотезы заключается в выборе среди всех критериев с заданным уровнем значимости (вероятность ошибки 1-го рода) такого, который имел бы наименьшую вероятность ошибки 2-го рода или, что то же самое, наибольшую вероятность отклонения гипотезы, когда она неверна. Последняя вероятность (разность между единицей и ошибкой 2-го рода) называется мощностью статистического критерия. В случае когда альтернативная гипотеза простая, наилучшим будет критерий, который имеет наибольшую мощность среди всех других критериев с заданным уровнем значимости . Если альтернативная гипотеза сложная, например зависит от параметра, то мощность критерия будет функцией, определённой на классе простых альтернативных гипотез, составляющих , т. е. будет функцией параметра. Критерий, имеющий наибольшую мощность при каждой альтернативной гипотезе из , называется равномерно наиболее мощным статистическим критерием, однако следует отметить, что такие критерии существуют лишь в немногих специальных ситуациях. В задаче о проверке простой гипотезы о среднем значении нормального распределения против сложной альтернативной гипотезы равномерно наиболее мощный критерий существует, тогда как при проверке той же гипотезы против сложной альтернативы его нет. Поэтому часто ограничиваются поиском равномерно наиболее мощных критериев в тех или иных специальных классах.
Важную роль в теории проверки статистических гипотез играют идеи, связанные с последовательным анализом.