Избыточность сообщений
Избы́точность сообще́ний, понятие теории информации, численно оценивающее возможность сокращения записи сообщений. Наличие избыточности в записи сообщений какого-либо источника информации проявляется в возможности записать их в среднем более кратко, используя те же самые знаки (т. е. используя код с тем же алфавитом). Например, если рассматриваемые сообщения представляют собой последовательности знаков и в которых единица встречается в среднем один раз на десять знаков, то, применяя кодирование по правилу можно в среднем сократить запись почти вдвое. Максимальная доля лишних знаков определяется по статистическим свойствам источника сообщений и называется его избыточностью. Для избыточности сообщений справедлива формула где – число букв алфавита, – энтропия источника на букву сообщения. Минимальной избыточностью сообщений, равной нулю, обладает только последовательность, в которой знаки независимы и с вероятностью могут совпадать с любой из букв алфавита.
На практике важен вопрос об оценке избыточности сообщений конкретных видов сообщений (таких как письменная и устная речь, телевизионные изображения). Величина избыточности сообщений в них оказывается обычно значительной. Так, например, избыточность сообщений английской письменной речи не менее 0,6.