Теорема Шеннона

Теоре́ма Ше́ннона, одна из основных теорем теории информации, относящаяся к передаче информации по каналам связи при наличии помех, приводящих к искажениям в процессе передачи.

Пусть надлежит передать последовательность символов, появляющихся с определёнными вероятностями, причём имеется некоторая вероятность того, что передаваемый сигнал в процессе передачи будет искажён, т. е. будет воспринят как какой-то другой символ. Простейший способ, позволяющий надёжно восстановить передаваемую последовательность из получаемой, состоит в том, чтобы каждый передаваемый символ повторять большое число ${\displaystyle N}$ раз. Однако это приведёт к уменьшению скорости передачи в ${\displaystyle N}$ раз, т. е. сделает её близкой к нулю. Теорема Шеннона утверждает, что можно указать такое зависящее только от упомянутых вероятностей положительное число ${\displaystyle v}$, называемое критической скоростью, для которого при сколь угодно малом ${\displaystyle \epsilon >0}$ существуют способы передачи информации со скоростью ${\displaystyle v'<v}$, сколь угодно близкой к ${\displaystyle v}$, дающие возможность восстанавливать исходную последовательность с вероятностью ошибки, меньшей ${\displaystyle \epsilon }$. В то же время при скорости передачи ${\displaystyle v'}$, большей ${\displaystyle v}$, это уже невозможно. Эти способы передачи используют надлежащие «помехоустойчивые» коды. Критическая скорость ${\displaystyle v}$ определяется из соотношения ${\displaystyle Hv=c}$, где ${\displaystyle H}$ – энтропия источника на символ, ${\displaystyle c}$ – ёмкость канала в двоичных единицах в секунду. Теорема установлена К. Шенноном в 1957–1961 гг.