Эффект убывания полезности выборки
Эффе́кт убыва́ния поле́зности вы́борки, зависимость количества выявленных юзабилити-проблем от количества респондентов, участвующих в пользовательском тестировании интерфейса.
Я. Нильсен и Т. Ландауэр рассмотрели результаты 11 исследований, в том числе 5 юзабилити-тестирований и 6 эвристических оценок удобства цифровых интерфейсов. В каждом из них принимало участие разное количество респондентов или оценивающих экспертов (от 11 до 77 человек) и было обнаружено разное количество проблем взаимодействия с интерфейсами (от 9 до 145). Проанализировав данные, авторы предложили формулу Nn = N (1 – (1 – λ) n), где N – количество проблем, λ – доля проблем, которую обнаруживает один респондент или эксперт. Кроме того, они рассчитали среднее значение λ, оно составило 0,31 (Nielsen. 1993).
Исходя из формулы, чтобы обнаружить все юзабилити-проблемы, необходимо привлечь 15 респондентов. Однако Я. Нильсен рекомендует проводить юзабилити-тестирования с привлечением 5 респондентов, поскольку этого достаточно, чтобы выявить 85 % проблем взаимодействия, затрагивающих 31 % пользователей. На практике в число выявленных на небольшой выборке проблем интерфейса входят наиболее критичные и частотные, а каждый новый респондент хоть и находит новые проблемы, но также сталкивается с теми, которые встретились у предыдущих участников тестирования. Поэтому для проведения качественного исследования достаточно выборки в 5 респондентов. Если же необходимо обнаружить проблемы, с которыми предположительно столкнутся менее 31 % пользователей, то размер выборки нужно увеличить.