Теорема Шеннона
Теоре́ма Ше́ннона, одна из основных теорем теории информации, относящаяся к передаче информации по каналам связи при наличии помех, приводящих к искажениям в процессе передачи.
Пусть надлежит передать последовательность символов, появляющихся с определёнными вероятностями, причём имеется некоторая вероятность того, что передаваемый сигнал в процессе передачи будет искажён, т. е. будет воспринят как какой-то другой символ. Простейший способ, позволяющий надёжно восстановить передаваемую последовательность из получаемой, состоит в том, чтобы каждый передаваемый символ повторять большое число раз. Однако это приведёт к уменьшению скорости передачи в раз, т. е. сделает её близкой к нулю. Теорема Шеннона утверждает, что можно указать такое зависящее только от упомянутых вероятностей положительное число , называемое критической скоростью, для которого при сколь угодно малом существуют способы передачи информации со скоростью сколь угодно близкой к , дающие возможность восстанавливать исходную последовательность с вероятностью ошибки, меньшей В то же время при скорости передачи большей это уже невозможно. Эти способы передачи используют надлежащие «помехоустойчивые» коды. Критическая скорость определяется из соотношения где – энтропия источника на символ, – ёмкость канала в двоичных единицах в секунду. Теорема установлена К. Шенноном в 1957–1961 гг.