Энтропия в теории информации

Энтропи́я в теории информации, мера неопределённости какого-либо опыта (испытания), который в зависимости от случая может заканчиваться различными исходами. При этом предполагают, что имеются определённые вероятности появления того или иного исхода. Пусть ${\displaystyle x_{1},x_{2},...,x_{n}}$ – различные исходы опыта, ${\displaystyle p_{1},p_{2},...,p_{n}}$ – соответствующие вероятности ${\displaystyle p_{j}\geqslant 0}$, ${\displaystyle \sum _{j=1}^{n}p_{j}=1}$. Тогда энтропия ${\displaystyle H}$ определяется выражением

${\displaystyle H=H(p_{1},p_{2},...,p_{n})=\sum _{j=1}^{n}p_{j}\log _{2}(1/p_{j})}$

${\displaystyle (}$считается, что ${\displaystyle 0\log _{2}0=0)}$.

Свойства энтропии: энтропия равна нулю в том случае, когда одно число из ${\displaystyle p_{j}}$ равно единице, а остальные равны нулю, т. е. когда исход опыта достоверен; энтропия достигает максимального значения при данном ${\displaystyle n}$, когда все исходы равновероятны; энтропия объединения двух независимых опытов равна сумме их энтропий. Функция ${\displaystyle H}$ от ${\displaystyle p_{j}}$ является единственной, удовлетворяющей этим и ещё нескольким, столь же естественным, требованиям. Однако ценность понятия энтропии определяется не этим обстоятельством, а тем, что она играет важную роль в теории информации.

Для теории информации особый интерес представляет случай, когда ${\displaystyle x_{j}}$ суть сообщения некоторого источника информации, передаваемые по каналу связи. Сообщения при этом рассматривают как временны́е последовательности элементов (букв), выбираемых с некоторыми вероятностями из какой-то определённой совокупности (алфавита). Выводы теории информации касаются сообщений, являющихся «достаточно длинными» (в принципе неограниченно длинными) последовательностями букв, что соответствует предположению о весьма длительной работе источников сообщений и каналов связи. Поэтому энтропия источника на символ (или скорость передачи сообщений, измеряемая в двоичных единицах на символ) определяется некоторым предельным переходом. С этой целью, наряду с сообщениями, представленными в виде неограниченных последовательностей ${\displaystyle a_{1},a_{2},...,a_{N},..}$. букв некоторого ${\displaystyle s}$-буквенного алфавита, рассматривают «урезанные» сообщения длины ${\displaystyle N}$, т. е. цепочки ${\displaystyle a_{1},a_{2},...,a_{N}}$. Выбирая в определении энтропии в качестве ${\displaystyle x_{j}}$ эти ${\displaystyle N}$-членные цепочки и в качестве ${\displaystyle p_{j}}$ – соответствующие вероятности, получают некоторую величину ${\displaystyle H_{N}}$. Отношение ${\displaystyle H_{N}/N}$ даёт энтропию на букву для ${\displaystyle N}$-членных цепочек. В теории информации устанавливается, что при очень широком допущении устойчивости вероятностных закономерностей во времени (стационарность источника) величина ${\displaystyle H_{N}/N}$, убывая, стремится к пределу ${\displaystyle H_{\infty }=\lim _{N->\infty }H_{N}/N}$, называемому энтропией сообщения на символ. Если все символы имеют некоторую длительность и ${\displaystyle \tau }$ – их средняя длительность, то отношение ${\displaystyle H_{\infty }/\tau }$ даёт энтропию источника на единицу времени. Эти две величины ${\displaystyle H_{\infty }}$ и ${\displaystyle H_{\infty }/\tau }$ являются основными информационными характеристиками источника сообщений. Так, ${\displaystyle H_{\infty }}$ позволяет оценить максимально возможную степень «сжатия» сообщения при использовании того же алфавита (см. Избыточность сообщений, Кодирование).

Соотношение между скоростью создания сообщений ${\displaystyle H_{\infty }/\tau }$ и ёмкостью какого-либо канала с тем же входным алфавитом, что использован при записи сообщений, определяет возможность «почти безошибочной» передачи этих сообщений по каналу (см. теорема Шеннона).

Энтропию испытания с бесконечным числом исходов можно попытаться определить с помощью предельного перехода. Но этот путь приводит, как правило, к бесконечному значению энтропии. Поэтому задаются определённым уровнем точности ${\displaystyle \epsilon }$ и определяют так называемую ε-энтропию как описываемого с точностью до ${\displaystyle \epsilon }$ исхода опыта.