Информация в математике

Информа́ция в математике, общее название понятий, играющих фундаментальную роль в информатике, теории информации, кибернетике, а также в математической статистике. В каждой из этих дисциплин интуитивное представление об информации относительно каких-либо величин или явлений требует своего уточнения и формализации.

Кибернетика изучает машины и живые организмы исключительно с точки зрения их способности воспринимать определённую информацию, сохранять эту информацию в памяти, передавать её по каналам связи и перерабатывать её в сигналы, направляющие их деятельность. В некоторых случаях возможность сравнения различных данных по содержащейся в них информации столь же естественна, как и возможность сравнения плоских фигур по площади: независимо от способа измерения площадей можно сказать, что фигура ${\displaystyle A}$ имеет не бóльшую площадь, чем ${\displaystyle B}$, если ${\displaystyle A}$ может быть целиком помещена в ${\displaystyle B}$. Более глубокий факт – возможность выразить площадь числом и на этой основе сравнивать между собой фигуры произвольной формы – является результатом развития геометрии. Подобно этому фундаментальным результатом теории информации является утверждение о том, что в определённых, весьма широких условиях можно пренебречь качественными особенностями информации и выразить её количество числом. Только этим числом определяются возможности передачи информации по каналам связи и её сохранения в запоминающих устройствах.

Пример 1. Результаты произведённых независимых измерений какой-либо физической величины, хотя и содержат ошибки, дают информацию о её точном значении. Увеличение числа измерений увеличивает эту информацию. Среднее арифметическое результатов наблюдений также содержит некоторую информацию относительно рассматриваемой величины. В математической статистике установлено, что в случае нормального распределения вероятностей ошибок с известной дисперсией среднее арифметическое содержит ту же информацию о точном значении, что и все наблюдения.

Пример 2. Пусть на входе канала связи имеется некоторая случайная величина ${\displaystyle X}$, которая при передаче искажается, в результате чего на выходе получают величину ${\displaystyle Y=X+Z}$, где ${\displaystyle Z}$ не зависит от ${\displaystyle X}$ (в смысле теории вероятностей). Выход ${\displaystyle Y}$ даёт информацию о входе ${\displaystyle X}$, причём естественно ожидать, что эта информация тем меньше, чем больше рассеяние значений ${\displaystyle Z}$.

В приведённых примерах данные можно сравнить по содержащейся в них информации. Смысл этого сравнения требует уточнения. Это уточнение даётся соответственно математической статистикой и теорией информации.

В основе теории информации лежит предложенный в 1948 г. К. Шенноном способ измерения количества информации, содержащейся в одном случайном объекте (событии, величине, функции и т. п.) относительно другого случайного объекта. Этот способ приводит к выражению количества информации числом. Проще всего количество информации определяется в случае, когда случайные объекты являются случайными величинами, принимающими лишь конечное число значений. Пусть ${\displaystyle X}$ – случайная величина, принимающая значения ${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$ с вероятностями ${\displaystyle p_{1},p_{2},\ldots ,p_{n}}$, а ${\displaystyle Y}$ – случайная величина, принимающая значения ${\displaystyle y_{1},y_{2},\ldots ,y_{m}}$ с вероятностями ${\displaystyle q_{1},q_{2},\ldots ,q_{m}}$. Тогда количество информации ${\displaystyle I(X,\,Y)}$, содержащееся в ${\displaystyle X}$ относительно ${\displaystyle Y}$, определяется формулой

${\displaystyle I(X,\,Y)=\sum _{i,j}p_{ij}\log _{2}{\biggl (}{\frac {p_{ij}}{p_{i}q_{j}}}{\biggr )}}$ (1),

где ${\displaystyle p_{ij}}$ – вероятность совмещения событий ${\displaystyle \left\{X=x_{i}\right\}}$ и ${\displaystyle \left\{Y=y_{j}\right\}}$. Величина ${\displaystyle I(X,\,X)}$ является энтропией случайной величины ${\displaystyle X}$. Справедливо равенство ${\displaystyle I(X,\,Y)=I(Y,\,X)}$. Величина ${\displaystyle I(X,\,Y)}$ обладает рядом свойств, которые естественно требовать от меры количества информации. Так, всегда ${\displaystyle I(X,\,Y)\geqslant 0}$, и равенство ${\displaystyle I(X,\,Y)=0}$ справедливо тогда и только тогда, когда ${\displaystyle p_{ij}=p_{i}q_{j}}$ при всех ${\displaystyle i}$ и ${\displaystyle j}$, т. е. когда случайные величины ${\displaystyle X}$ и ${\displaystyle Y}$ независимы. Всегда справедливо неравенство ${\displaystyle I(X,\,Y)\leqslant I(Y,\,Y)}$, и равенство справедливо тогда и только тогда, когда ${\displaystyle Y}$ есть функция от ${\displaystyle X}$ ${\displaystyle (}$например, ${\displaystyle Y=X^{2})}$.

Понятие энтропии

${\displaystyle H(X)=I(X,\,X)=\sum _{i}p_{i}\log _{2}(1/p_{i})}$

относится к числу основных понятий теории информации. Количество информации и энтропия связаны соотношением

${\displaystyle I(X,\,Y)=H(X)+H(Y)-H(X,\,Y)}$ (2),

где ${\displaystyle H(X,\,Y)}$ – энтропия пары ${\displaystyle (X,\,Y)}$, т. е.

${\displaystyle H(X,\,Y)=\sum _{i,j}\log _{2}(1/p_{ij})}$.

Величина энтропии оценивает сверху среднее число двоичных знаков ${\displaystyle 0}$ и ${\displaystyle 1}$, необходимое для различения (записи) возможных значений случайной величины при наиболее экономном кодировании, и отличается от него не более чем на ${\displaystyle 1}$. Это обстоятельство позволяет понять роль количества информации ${\displaystyle (1)}$ при хранении информации в запоминающих устройствах. Если случайные величины ${\displaystyle X}$ и ${\displaystyle Y}$ независимы, то можно считать, что для записи значений ${\displaystyle X}$ требуется в среднем ${\displaystyle H(X)}$ двоичных знаков, для записи значений ${\displaystyle Y}$ требуется ${\displaystyle H(Y)}$ двоичных знаков, а для пары ${\displaystyle (X,\,Y)}$ требуется ${\displaystyle H(X)+H(Y)}$ двоичных знаков. Если же случайные величины ${\displaystyle X}$ и ${\displaystyle Y}$ зависимы, то среднее число двоичных знаков, необходимое для записи пары ${\displaystyle (X,\,Y)}$, оказывается меньше суммы ${\displaystyle H(X)+H(Y)}$, т. к. ${\displaystyle H(X,\,Y)=H(X)+H(Y)-I(X,\,Y)}$.

С помощью более глубоких утверждений выясняется роль количества информации ${\displaystyle (1)}$ в вопросах передачи информации по каналам связи. Основная информационная характеристика, т. н. пропускная способность канала связи, определяется через количество информации.

Если совместное распределение случайных величин ${\displaystyle X}$ и ${\displaystyle Y}$ имеет плотность вероятности, то ${\displaystyle I(X,\,Y)}$ определяется равенством

${\displaystyle I(X,\,Y)=\iint p(x,\,y)\log _{2}{\frac {p(x,\,y)}{p(x)q(y)}}\,dxdy}$ (3),

где ${\displaystyle p(x,\,y),\,p(x)}$ и ${\displaystyle q(y)}$ обозначают соответствующие плотности вероятности. Эта формула получается из ${\displaystyle (1)}$ с помощью предельного перехода. При этом энтропии ${\displaystyle H(X)}$ и ${\displaystyle H(Y)}$ не существуют, но справедлива формула, аналогичная ${\displaystyle (2)}$,

${\displaystyle I(X,\,Y)=h(X)+h(Y)-h(X,\,Y)}$ (4),

где

${\displaystyle h(X)=\int p(x)\log _{2}{\frac {1}{p(x)}}\,dx}$

– дифференциальная энтропия случайной величины ${\displaystyle X}$, ${\displaystyle h(Y)}$ и ${\displaystyle h(X,\,Y)}$ определяются аналогично.

Пример 3. Пусть в условиях примера 2 независимые случайные величины ${\displaystyle X}$ и ${\displaystyle Z}$ имеют нормальные распределения вероятностей с нулевыми средними значениями и дисперсиями, равными соответственно ${\displaystyle \sigma _{X}^{2}}$ и ${\displaystyle \sigma _{Z}^{2}}$. Тогда формулы ${\displaystyle (3)}$ или ${\displaystyle (4)}$ приводят к равенству

${\displaystyle I(Y,\,X)=I(X,\,Y)={\frac {1}{2}}\log _{2}(1+\sigma _{X}^{2}/\sigma _{Z}^{2})}$.

Таким образом, количество информации в принятом сигнале ${\displaystyle Y}$ относительно переданного сигнала ${\displaystyle X}$ стремится к нулю при возрастании уровня помех ${\displaystyle Z}$ ${\displaystyle (}$т. е. при ${\displaystyle \sigma _{X}^{2}\to \infty )}$ и неограниченно возрастает при исчезающе малом влиянии помех ${\displaystyle (}$т. е. при ${\displaystyle \sigma _{Z}^{2}->0)}$.

Особенный интерес для теории информации представляет случай, когда в обстановке примеров 2 и 3 случайные величины ${\displaystyle X}$ и ${\displaystyle Y}$ заменяются случайными функциями (или, как говорят, случайными процессами) ${\displaystyle X(t)}$ и ${\displaystyle Y(t)}$, которые описывают изменение во времени некоторой величины на входе и на выходе передающего устройства. Количество информации в ${\displaystyle Y(t)}$ относительно ${\displaystyle X(t)}$ при заданном уровне помех (шумов) ${\displaystyle Z(t)}$ может служить критерием качества передающего устройства.

В задачах математической статистики также пользуются понятием информации, введённым Р. Фишером (1921). Однако как по своему формальному определению, так и по своему назначению оно отличается от того, что используется в теории информации. Математическая статистика имеет дело с большим числом результатов наблюдений и заменяет обычно их полное перечисление указанием некоторых сводных характеристик (см. пример 1). Иногда при такой замене происходит потеря информации, но при некоторых условиях сводные характеристики содержат всю информацию, имеющуюся в полных данных.

Пример 4. Пусть ${\displaystyle X_{1},\,X_{2},\,\ldots ,X_{n}}$ – результаты ${\displaystyle n}$ независимых наблюдений некоторой величины, распределённые по нормальному закону с плотностью вероятности

${\displaystyle p(x;\,a,\sigma ^{2})={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp {\biggl (}-{\frac {(x-a)^{2}}{2\sigma ^{2}}}{\biggr )}}$,

где параметры ${\displaystyle a}$ и ${\displaystyle \sigma ^{2}}$ (среднее и дисперсия) неизвестны и должны быть оценены по результатам наблюдений. Достаточными статистиками (так называются функции от результатов наблюдений, содержащие всю информацию о неизвестных параметрах) в этом примере являются среднее арифметическое

${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

и эмпирическая дисперсия

${\displaystyle s^{2}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}$.

Если параметр ${\displaystyle \sigma ^{2}}$ известен, то достаточной статистикой для параметра ${\displaystyle a}$ будет только ${\displaystyle {\overline {X}}}$ (ср. пример 1). Смысл выражения «вся информация» состоит в следующем. Пусть имеется какая-либо функция неизвестных параметров ${\displaystyle \varphi =\varphi (a,\,s^{2})}$ и пусть ${\displaystyle \varphi ^{*}=\varphi ^{*}(X_{1},\,X_{2},\,...,\,X_{n})}$ – какая-либо её оценка, не имеющая систематической ошибки, т. е. математическое ожидание ${\displaystyle \varphi ^{*}}$ совпадает с ${\displaystyle \varphi }$. Пусть качество оценки, т. е. её точность, измеряется, как это обычно делается в задачах математической статистики, дисперсией разности ${\displaystyle \varphi ^{*}-\varphi }$. Тогда существует другая оценка ${\displaystyle \varphi ^{**}}$, зависящая не от отдельных величин ${\displaystyle X_{1},\,X_{2},\,...,\,X_{n}}$, а только от сводных характеристик ${\displaystyle {\overline {X}}}$ и ${\displaystyle s^{2}}$, не имеющая систематической ошибки и для которой дисперсия разности ${\displaystyle \varphi ^{**}-\varphi }$ не превосходит дисперсии разности ${\displaystyle \varphi ^{*}-\varphi }$.