Избыточность сообщений

Избы́точность сообще́ний, понятие теории информации, численно оценивающее возможность сокращения записи сообщений. Наличие избыточности в записи сообщений какого-либо источника информации проявляется в возможности записать их в среднем более кратко, используя те же самые знаки (т. е. используя код с тем же алфавитом). Например, если рассматриваемые сообщения представляют собой последовательности знаков ${\displaystyle 0}$ и ${\displaystyle 1,}$ в которых единица встречается в среднем один раз на десять знаков, то, применяя кодирование по правилу ${\displaystyle {{\ce {00 -> 0,}}}}$ ${\displaystyle {{\ce {01 -> 10,}}}}$ ${\displaystyle {{\ce {10 -> 110,}}}}$ ${\displaystyle {{\ce {11 -> 111,}}}}$ можно в среднем сократить запись почти вдвое. Максимальная доля лишних знаков определяется по статистическим свойствам источника сообщений и называется его избыточностью. Для избыточности сообщений ${\displaystyle R}$ справедлива формула ${\displaystyle R=1-H/{\text{log}}_{2}m,}$ где ${\displaystyle m}$ – число букв алфавита, ${\displaystyle H}$ – энтропия источника на букву сообщения. Минимальной избыточностью сообщений, равной нулю, обладает только последовательность, в которой знаки независимы и с вероятностью ${\displaystyle 1/m}$ могут совпадать с любой из букв алфавита.

На практике важен вопрос об оценке избыточности сообщений конкретных видов сообщений (таких как письменная и устная речь, телевизионные изображения). Величина избыточности сообщений в них оказывается обычно значительной. Так, например, избыточность сообщений английской письменной речи не менее 0,6.