Теория информации

Тео́рия информа́ции, раздел математики, исследующий процессы хранения, преобразования и передачи информации. Теория информации – часть кибернетики. В основе теории информации лежит определённый способ измерения количества информации, содержащейся в каких-либо данных (сообщениях).

Теория информации исходит из представления о том, что сообщения, предназначенные для сохранения в запоминающем устройстве или для передачи по каналу связи, неизвестны заранее с полной определённостью. Заранее известен лишь источник сообщений, т. е. множество ${\displaystyle x_{1},\,x_{2},\,\ldots ,x_{n}}$, из которого могут быть выбраны эти сообщения, вероятности ${\displaystyle p_{1},\,p_{2},\,\ldots ,p_{n}}$ появления этих сообщений. В теории информации неопределённость, с которой сталкиваются в подобной обстановке, допускает количественное выражение, и именно это количество, а не конкретная природа самих сообщений, определяет возможность их хранения и передачи. Рассматриваются всевозможные способы записи сообщений цепочками символов ${\displaystyle 0}$ и ${\displaystyle 1}$, называемые двоичными кодами, удовлетворяющие условиям: а) различным сообщениям соответствуют различные цепочки; б) по записи любой последовательности сообщений в кодированной форме эта последовательность должна однозначно восстанавливаться. В качестве меры неопределённости источника сообщений принимают среднее значение длины кодовой цепочки, соответствующее самому экономному способу кодирования; единицей измерения служит один двоичный знак.

Пример. Пусть некоторые сообщения ${\displaystyle x_{1},\,x_{2},\,x_{3}}$ появляются с вероятностями, равными соответственно ${\displaystyle 1/2}$, ${\displaystyle 3/8}$, ${\displaystyle 1/8}$. Какой-либо короткий код, например, ${\displaystyle x_{1}=0,\,x_{2}=1,\,x_{3}=01}$, непригоден, т. к. нарушается условие б), поскольку цепочка ${\displaystyle 01}$ может означать как ${\displaystyle x_{1}x_{2}}$, так и ${\displaystyle x_{3}}$. Код ${\displaystyle x_{1}=0,\,x_{2}=10,\,x_{3}=11}$ удовлетворяет условиям а) и б). Ему соответствует среднее значение длины кодовой цепочки, равное

${\displaystyle 1\cdot {\frac {1}{2}}+2\cdot {\frac {3}{8}}+2\cdot {\frac {1}{8}}=1,5}$.

Оказывается, что никакой другой код не может дать меньшего значения, т. е. указанный код – самый экономный, мера неопределённости данного источника сообщений равна ${\displaystyle 1,5}$ (двоичных знаков).

Не существует простой формулы, выражающей точный минимум ${\displaystyle H'}$ среднего числа двоичных знаков, необходимых для кодирования сообщений ${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$, через вероятности ${\displaystyle p_{1},p_{2},\ldots ,p_{n}}$ этих сообщений. Однако этот минимум не меньше величины

${\displaystyle H=\sum _{i=1}^{n}p_{i}\log _{2}(1/p_{i})}$

и может превосходить её не более чем на единицу. Величина ${\displaystyle H}$, называемая энтропией источника сообщений, обладает простыми свойствами, а для всех выводов теории информации, которые носят асимптотический характер, т. е. соответствуют случаю ${\displaystyle H'\to \infty }$, различие между ${\displaystyle H}$ и ${\displaystyle H'}$ несущественно. Поэтому именно энтропия принимается в качестве меры неопределённости данного источника. В приведённом выше примере энтропия равна

${\displaystyle H={\frac {1}{2}}\log _{2}+{\frac {3}{8}}\log _{2}{\frac {8}{3}}+{\frac {1}{8}}\log _{2}8=1,40564}$.

Энтропия бесконечной совокупности сообщений ${\displaystyle x_{1},x_{2},\ldots }$, появляющихся с вероятностями ${\displaystyle p_{1},p_{2},\ldots }$, оказывается, как правило, бесконечной, поэтому в применении к источникам с бесконечным числом сообщений поступают иначе. Именно, задаются определённым уровнем точности и вводят понятие ${\displaystyle \epsilon }$-энтропии как энтропии сообщения, записываемого с точностью до ${\displaystyle \epsilon }$, если сообщение представляет собой непрерывную величину или функцию, например времени.

Так же, как и понятие энтропии, понятие количества информации, содержащейся в одном случайном объекте (случайной величине, случайном векторе, случайной функции и т. д.) относительно другого, вводится сначала для объектов с конечным числом ${\displaystyle n}$ возможных значений. Затем общий случай изучается при помощи предельного перехода при ${\displaystyle {\ce {n->\infty }}}$. В отличие от энтропии количество информации, например, в одной непрерывно распределённой случайной величине относительно другой непрерывно распределённой величины, часто оказывается конечным.

Понятие канала связи в теории информации носит весьма общий характер. Канал связи задаётся указанием множества допустимых сообщений на входе канала, множеством сообщений на выходе и набором условных вероятностей получения того или иного сообщения на выходе при данном входном сообщении. Эти условные вероятности описывают влияние помех, искажающих передаваемые сообщения. Присоединяя к каналу связи источник сообщений, можно рассчитать количество информации относительно сообщения на входе, содержащееся в сообщении на выходе. Верхняя грань таких количеств информации, взятая по всем допустимым источникам, называется пропускной способностью (ёмкостью) канала. Пропускная способность канала – его основная информационная характеристика. Несмотря на влияние (быть может, сильное) помех в канале, при определённом соотношении между энтропией поступающих сообщений и пропускной способностью канала при надлежащем кодировании возможна почти безошибочная передача сообщений.

В теории информации изучаются оптимальные в смысле скорости и надёжности способы передачи информации и устанавливаются теоретические пределы достижимого качества. Теория информации носит существенно вероятностный характер и значительная часть её математических методов заимствуется из теории вероятностей.

Основы теории информации были заложены в 1948–1949 гг. К. Шенноном. Её теоретические разделы разрабатывались А. Н. Колмогоровым и А. Я. Хинчиным, а разделы, связанные с применениями, – В. А. Котельниковым.