Подпишитесь на наши новости
Вернуться к началу с статьи up
 

ИНФОРМА́ЦИЯ

  • рубрика

    Рубрика: Математика

  • родственные статьи
  • image description

    В книжной версии

    Том 11. Москва, 2008, стр. 494

  • image description

    Скопировать библиографическую ссылку:




Авторы: Ю. В. Прохоров

ИНФОРМА́ЦИЯ в ма­те­ма­ти­ке, об­щее на­зва­ние по­ня­тий, иг­раю­щих фун­да­мен­таль­ную роль в ин­фор­ма­ти­ке, ин­фор­ма­ции тео­рии, ки­бер­не­ти­ке, а так­же в ма­те­ма­ти­че­ской ста­ти­сти­ке. В каж­дой из этих дис­цип­лин ин­ту­и­тив­ное пред­став­ле­ние об И. от­но­си­тель­но к.-л. ве­ли­чин или яв­ле­ний тре­бу­ет сво­его уточ­не­ния и фор­ма­ли­за­ции.

Ки­бер­не­ти­ка изу­ча­ет ма­ши­ны и жи­вые ор­га­низ­мы ис­клю­чи­тель­но с точ­ки зре­ния их спо­соб­но­сти вос­при­ни­мать оп­ре­де­лён­ную И., со­хра­нять эту И. в па­мя­ти, пе­ре­да­вать её по ка­на­лам свя­зи и пе­ре­ра­ба­ты­вать её в сиг­на­лы, на­прав­ляю­щие их дея­тель­ность. В не­ко­то­рых слу­ча­ях воз­мож­ность срав­не­ния разл. дан­ных по со­дер­жа­щей­ся в них И. столь же ес­те­ст­вен­на, как и воз­мож­ность срав­не­ния пло­ских фи­гур по пло­ща­ди: не­за­ви­си­мо от спо­со­ба из­ме­ре­ния пло­ща­дей мож­но ска­зать, что фи­гу­ра $A$ име­ет не бóльшую пло­щадь, чем $B$, ес­ли $A$ мо­жет быть це­ли­ком по­ме­ще­на в $B$. Бо­лее глу­бо­кий факт – воз­мож­ность вы­ра­зить пло­щадь чис­лом и на этой ос­но­ве срав­ни­вать ме­ж­ду со­бой фи­гу­ры про­из­воль­ной формы – яв­ля­ет­ся ре­зуль­та­том раз­ви­тия гео­мет­рии. По­доб­но это­му фун­дам. ре­зуль­та­том тео­рии И. яв­ля­ет­ся ут­верж­де­ние о том, что в оп­ре­де­лён­ных, весь­ма ши­ро­ких ус­ло­ви­ях мож­но пре­неб­речь ка­че­ст­вен­ны­ми осо­бен­но­стя­ми И. и вы­ра­зить её ко­ли­че­ст­во чис­лом. Толь­ко этим чис­лом оп­ре­де­ля­ют­ся воз­мож­но­сти пе­ре­да­чи И. по ка­на­лам свя­зи и её со­хра­не­ния в за­по­ми­наю­щих уст­рой­ст­вах.

При­мер 1. Ре­зуль­та­ты про­из­ве­дён­ных не­за­ви­си­мых из­ме­ре­ний к.-л. фи­зич. ве­ли­чи­ны, хо­тя и со­дер­жат ошиб­ки, да­ют И. о её точ­ном зна­че­нии. Уве­ли­че­ние чис­ла из­ме­ре­ний уве­ли­чи­ва­ет эту И. Сред­нее ариф­ме­ти­че­ское ре­зуль­та­тов на­блю­де­ний так­же со­дер­жит не­ко­то­рую И. от­но­си­тель­но рас­смат­ри­вае­мой ве­ли­чи­ны. В ма­те­ма­тич. ста­ти­сти­ке ус­та­нов­ле­но, что в слу­чае нор­маль­но­го рас­пре­де­ле­ния ве­ро­ят­но­стей оши­бок с из­вест­ной дис­пер­си­ей сред­нее ариф­ме­ти­че­ское со­дер­жит ту же И. о точ­ном зна­че­нии, что и все на­блю­де­ния.

При­мер 2. Пусть на вхо­де ка­на­ла свя­зи име­ет­ся не­ко­то­рая слу­чай­ная ве­ли­чи­на $X$, ко­то­рая при пе­ре­да­че ис­ка­жа­ет­ся, в ре­зуль­та­те че­го на вы­хо­де по­лу­ча­ют ве­ли­чи­ну $Y=X+Z$, где $Z$ не за­ви­сит от $X$ (в смыс­ле тео­рии ве­ро­ят­но­стей). Вы­ход $Y$ да­ёт И. о вхо­де $X$, при­чём ес­те­ст­вен­но ожи­дать, что эта И. тем мень­ше, чем боль­ше рас­сея­ние зна­че­ний $Z$.

В при­ве­дён­ных при­ме­рах дан­ные мож­но срав­нить по со­дер­жа­щей­ся в них И. Смысл это­го срав­не­ния тре­бу­ет уточ­не­ния. Это уточ­не­ние да­ёт­ся со­от­вет­ст­вен­но ма­те­ма­тич. ста­ти­сти­кой и тео­ри­ей ин­фор­ма­ции.

В ос­но­ве тео­рии И. ле­жит пред­ло­жен­ный в 1948 К. Шен­но­ном спо­соб из­ме­ре­ния ко­ли­че­ст­ва И., со­дер­жа­щей­ся в од­ном слу­чай­ном объ­ек­те (со­бы­тии, ве­ли­чи­не, функ­ции и т. п.) от­но­си­тель­но др. слу­чай­но­го объ­ек­та. Этот спо­соб при­во­дит к вы­ра­же­нию ко­ли­че­ст­ва И. чис­лом. Про­ще все­го ко­ли­че­ст­во И. оп­ре­де­ля­ет­ся в слу­чае, ко­гда слу­чай­ные объ­ек­ты яв­ля­ют­ся слу­чай­ны­ми ве­ли­чи­на­ми, при­ни­маю­щи­ми лишь ко­неч­ное чис­ло зна­че­ний. Пусть $X$ – слу­чай­ная ве­ли­чи­на, при­ни­маю­щая зна­че­ния $x_1,x_2,…,x_n$ с ве­ро­ят­но­стя­ми $p_1,p_2,…,p_n$, а $Y$ – слу­чай­ная ве­ли­чи­на, при­ни­маю­щая зна­че­ния $y_1,y_2,…,y_m$ све­ро­ят­но­стя­ми $q_1,q_2,…,q_m$. То­гда ко­ли­че­ст­во И. $I(X,\,Y)$, со­дер­жа­щее­ся в $X$ от­но­си­тель­но $Y$, оп­ре­де­ля­ется фор­му­лой $$I(X,\, Y)=\sum_{i,j} p_{ij} \log_2(p_{ij}/p_iq_j), \qquad (1)$$ где $p_{ij}$ – ве­ро­ят­ность со­вме­ще­ния со­бытий $\{X=x_i\}$ и $\{Y=y_j\}$. Ве­ли­чи­на $I(X,\,X)$ яв­ля­ет­ся эн­тро­пи­ей слу­чай­ной ве­ли­чи­ны $X$. Спра­вед­ли­во ра­вен­ст­во $I(X,\,Y) =I(Y,\,X)$. Ве­ли­чи­на $I(X,\,Y)$ об­ла­да­ет ря­дом свойств, ко­то­рые ес­те­ст­вен­но тре­бо­вать от ме­ры ко­ли­че­ст­ва И. Так, все­гда $I(X,\,Y)⩾0$, и ра­вен­ст­во $I(X,\,Y)=0$ спра­вед­ли­во то­гда и толь­ко то­гда, ко­гда $p_{ij}=p_iq_j$ при всех $i$ и $j$, т. е. ко­гда слу­чай­ные ве­ли­чи­ны $X$ и $Y$ не­за­ви­си­мы. Все­гда спра­вед­ли­во не­ра­вен­ст­во $I(X,\,Y) ⩽I(Y,\,Y)$, и ра­вен­ст­во спра­вед­ли­во то­гда и толь­ко то­гда, ко­гда $Y$ есть функ­ция от $X$ (напр., $Y=X^2$).

По­ня­тие эн­тро­пии $$H(X)=I(X,\,X)=\sum_i p_i \log_2 (1/p_i)$$ от­но­сит­ся к чис­лу осн. по­ня­тий тео­рии И. Ко­ли­че­ст­во И. и эн­тро­пия свя­за­ны со­от­но­ше­ни­ем $$I(X, \,Y)=H(X)+H(Y)-H(X,\,Y), \quad (2)$$ где $H(X,\,Y)$ – эн­тро­пия па­ры $(X,\,Y)$, т. е. $$H(X,\,Y)=\sum_{i,j} \log_2(1/p_{ij}).$$ Ве­ли­чи­на эн­тро­пии оце­ни­ва­ет свер­ху сред­нее чис­ло дво­ич­ных зна­ков 0 и 1, не­об­хо­ди­мое для раз­ли­че­ния (за­пи­си) воз­мож­ных зна­че­ний слу­чай­ной ве­ли­чи­ны при наи­бо­лее эко­ном­ном ко­ди­ро­ва­нии, и от­ли­ча­ет­ся от не­го не бо­лее чем на 1. Это об­стоя­тель­ст­во по­зво­ля­ет по­нять роль ко­ли­че­ст­ва И. (1) при хра­не­нии И. в запо­ми­наю­щих уст­рой­ст­вах. Ес­ли слу­чай­ные ве­ли­чи­ны $X$ и $Y$ не­за­ви­си­мы, то мож­но счи­тать, что для за­пи­си зна­че­ний $X$ тре­бу­ет­ся в сред­нем $H(X)$ дво­ич­ных зна­ков, для за­пи­си зна­че­ний $Y$ тре­бу­ет­ся $H(Y)$ дво­ич­ных зна­ков, а для па­ры $(X,\,Y)$ тре­бу­ет­ся $H(X)+H(Y)$ дво­ич­ных зна­ков. Ес­ли же слу­чай­ные ве­ли­чи­ны $X$ и $Y$ за­ви­си­мы, то сред­нее чис­ло дво­ич­ных зна­ков, не­об­хо­ди­мое для за­пи­си пары $(X,\,Y)$, ока­зы­ва­ет­ся мень­ше сум­мы $H(X)+H(Y)$, т. к. $H(X,\,Y)=H(X)+H(Y)-I(X,\,Y)$.

С по­мо­щью бо­лее глу­бо­ких ут­вер­жде­ний вы­яс­ня­ет­ся роль ко­ли­че­ст­ва И. (1) в во­про­сах пе­ре­да­чи И. по ка­на­лам свя­зи. Осн. ин­фор­мац. ха­рак­те­ри­сти­ка, т. н. про­пу­ск­ная спо­соб­ность ка­на­ла свя­зи, оп­ре­де­ля­ет­ся че­рез ко­ли­че­ст­во ин­фор­ма­ции.

Ес­ли со­вме­ст­ное рас­пре­де­ле­ние слу­чай­ных ве­ли­чин $X$ и $Y$ име­ет плот­ность ве­ро­ят­но­сти, то $I(X,\,Y)$ оп­ре­де­ля­ет­ся ра­вен­ст­вом $$I(X,\,Y)=\iint p(x,\,y)\log_2 \frac{p(x,\,y)}{p(x)q(y)}dxdy, \quad(3)$$ где $p(x,\,y),\, p(x)$ и $q(y)$ обо­зна­ча­ют со­от­вет­ст­вую­щие плот­но­сти ве­ро­ят­но­сти. Эта фор­му­ла по­лу­ча­ет­ся из (1) с по­мо­щью пре­дель­но­го пе­ре­хо­да. При этом эн­тро­пии $H(X)$ и $H(Y)$ не су­ще­ст­ву­ют, но спра­вед­ли­ва фор­му­ла, ана­ло­гич­ная (2), $$I(X,\,Y)=h(X)+h(Y)-h(X,\,Y),\quad (4)$$ где $$h(X)=\int p(x)\log_2 \frac{1}{p(x)}dx$$ – диф­фе­рен­ци­аль­ная эн­тро­пия слу­чай­ной ве­ли­чи­ны $X$, $h(Y)$ и $h(X,\,Y)$ оп­ре­де­ля­ют­ся ана­ло­гич­но.

При­мер 3. Пусть в ус­ло­ви­ях при­ме­ра 2 не­за­ви­си­мые слу­чай­ные ве­ли­чи­ны $X$ и $Z$ име­ют нор­маль­ные рас­пре­де­ле­ния ве­ро­ят­но­стей с ну­ле­вы­ми сред­ни­ми зна­че­ния­ми и дис­пер­сия­ми, рав­ны­ми со­ответ­ст­вен­но $σ_X^2$ и $σ_Z^2$. То­гда фор­му­лы (3) или (4) при­во­дят к ра­вен­ст­ву $$I(Y,\,X)=I(X,\,Y)=\frac{1}{2}\log_2 (1+σ_Z^2/σ_Z^2).$$ Т. о., ко­ли­че­ст­во И. в при­ня­том сиг­на­ле $Y$ от­но­си­тель­но пе­ре­дан­но­го сиг­на­ла $X$ стре­мит­ся к ну­лю при воз­рас­та­нии уровня по­мех $Z$ (т. е. при $σ_X^2 →∞$) и не­ог­рани­чен­но воз­рас­та­ет при ис­че­заю­ще ма­лом влия­нии по­мех (т. е. при $σ_Z^2→0$).

Осо­бен­ный ин­те­рес для тео­рии И. пред­став­ля­ет слу­чай, ко­гда в об­ста­нов­ке при­ме­ров 2 и 3 слу­чай­ные ве­ли­чи­ны $X$ и $Y$ за­ме­ня­ют­ся слу­чай­ны­ми функ­ция­ми (или, как го­во­рят, слу­чай­ны­ми про­цес­са­ми) $X(t)$ и $Y(t)$, ко­то­рые опи­сы­ва­ют из­ме­не­ние во вре­ме­ни не­ко­то­рой ве­ли­чи­ны на вхо­де и на вы­хо­де пе­ре­даю­ще­го уст­рой­ст­ва. Ко­ли­че­ст­во И. в $Y(t)$ от­но­си­тель­но $X(t)$ при за­дан­ном уров­не по­мех (шу­мов) $Z(t)$ мо­жет слу­жить кри­те­ри­ем ка­че­ст­ва пе­ре­даю­ще­го уст­рой­ст­ва.

В за­да­чах ма­те­ма­тич. ста­ти­сти­ки так­же поль­зу­ют­ся по­ня­ти­ем И., вве­дён­ным Р. Фи­ше­ром (1921). Од­на­ко как по сво­ему фор­маль­но­му оп­ре­де­ле­нию, так и по сво­ему на­зна­че­нию оно от­ли­ча­ет­ся от то­го, что ис­поль­зу­ет­ся в тео­рии И. Ма­те­ма­тич. ста­ти­сти­ка име­ет де­ло с большим чис­лом ре­зуль­та­тов на­блю­де­ний и за­меня­ет обыч­но их пол­ное пе­ре­чис­ле­ние ука­за­ни­ем не­ко­то­рых свод­ных ха­рак­те­ри­стик (см. при­мер 1). Ино­гда при та­кой за­ме­не про­ис­хо­дит по­те­ря И., но при не­ко­то­рых ус­ло­ви­ях свод­ные ха­рак­те­ри­сти­ки со­дер­жат всю И., имею­щую­ся в пол­ных дан­ных.

При­мер 4. Пусть $X1,\,X2,\,…,X_n$ – ре­зуль­та­ты $n$ не­за­ви­си­мых на­блю­де­ний не­ко­то­рой ве­ли­чи­ны, рас­пре­де­лён­ные по нор­маль­но­му за­ко­ну с плот­но­стью ве­ро­ят­но­сти $$p(x;\,aσ^2)=\frac{1}{σ\sqrt{2π}} \exp \biggl(-\frac{(x-a)^2}{2σ^2}\biggl),$$ где па­ра­мет­ры $a$ и $σ^2$ (сред­нее и дис­пер­сия) не­из­вест­ны и долж­ны быть оце­не­ны по ре­зуль­та­там на­блю­де­ний. Дос­та­точ­ны­ми ста­ти­сти­ка­ми (так на­зы­ва­ют­ся функ­ции от ре­зуль­та­тов на­блю­де­ний, со­дер­жа­щие всю И. о не­из­вест­ных па­ра­мет­рах) в этом при­ме­ре яв­ля­ют­ся сред­нее ариф­ме­ти­че­ское $$\overline X =\frac{1}{n} \sum_{i=1}^n X_i$$ и эм­пи­рич. дис­пер­сия $$s^2=\frac{1}{n} \sum_{i=1}^n (X_i-\overline X)^2.$$

Ес­ли па­ра­метр $σ^2$ из­вес­тен, то дос­та­точ­ной ста­ти­сти­кой для па­ра­мет­ра $a$ бу­дет толь­ко $\overline X$ (ср. пример 1). Смысл выра­же­ния «вся И.» со­сто­ит в сле­дую­щем. Пусть име­ет­ся к.-л. функ­ция не­из­вест­ных па­ра­мет­ров $φ=φ(a,\,s^2)$ и пусть $φ^*=φ^*(X_1,\,X2,\,...,\,X_n)$ – к.-л. её оцен­ка, не имею­щая сис­те­ма­тич. ошиб­ки, т. е. ма­те­ма­тич. ожи­да­ние $φ^*$ сов­па­да­ет с $φ$. Пусть ка­че­ст­во оцен­ки, т. е. её точ­ность, из­ме­ря­ет­ся, как это обыч­но де­ла­ет­ся в за­да­чах ма­те­ма­тич. ста­ти­сти­ки, дис­пер­си­ей раз­но­сти $φ^*-φ$. То­гда су­ще­ст­ву­ет дру­гая оцен­ка $φ^{**}$, за­ви­ся­щая не от отд. ве­ли­чин $X_1,\,X2,\,...,\,X_n$, а толь­ко от сводных ха­рак­те­ри­стик $\overline X$ и $s^2$, не имею­щая сис­те­ма­тич. ошиб­ки и для ко­то­рой дис­пер­сия раз­но­сти $φ^{**}-φ$ не пре­вос­хо­дит дис­пер­сии раз­но­сти $φ^*-φ$.

Лит.: Шеннон К. Ста­ти­сти­че­ская тео­рия пе­ре­да­чи элек­три­че­ских сигналов // Тео­рия пе­ре­да­чи элек­три­че­ских сиг­на­лов при на­ли­чии по­мех. М., 1953; Бриллюэн Л. Нау­ка и тео­рия ин­фор­ма­ции. М., 1960; Кол­мо­го­ров А. Н. Три под­хо­да к оп­ре­де­ле­нию по­ня­тия «ко­ли­че­ст­во ин­фор­ма­ции» // Про­бле­мы пе­ре­да­чи ин­фор­ма­ции. 1965. Т. 1. № 1; Хар­ке­вич А. А. Борь­ба с по­ме­ха­ми. 2-е изд. М., 1965; Черри К. Че­ло­век и ин­фор­ма­ция. М., 1972; Яг­лом А. М., Яг­лом ИМ. Ве­ро­ят­ность и ин­фор­ма­ция. 3-е изд. М., 1973; Галлагер Р. Тео­рия ин­фор­ма­ции и на­деж­ная связь. М., 1974; Леман Э. Тео­рия то­чеч­но­го оце­ни­ва­ния. М., 1991.

Вернуться к началу