Kaip jau minėta, norint efektyviai koduoti informaciją, būtina atsižvelgti į statistinę pranešimų priklausomybę. Mūsų artimiausias tikslas yra išmokti apskaičiuoti priklausomų pranešimų sekų informacines charakteristikas. Pradėkime nuo dviejų pranešimų.

Panagrinėkime ansamblius X= {x i) Ir Y={y j) ir jų darbus XY={(x i,y j), P(x i,y j)). Dėl bet kokių fiksuotų y jÎ Y galima pastatyti sąlyginis paskirstymas tikimybės P(x i/y j) filmavimo aikštelėje X ir visiems x iÎ X apskaičiuokite savo informaciją

kuris vadinamas sąlyginė nuosava informacijažinutes x i fiksuotame y j.

Anksčiau mes vadinome ansamblio entropija X vidutinė pranešimo informacija x iÎ X. Panašiai apskaičiuojant sąlyginės informacijos vidurkį aš(x i/y j)Pagal x iÎ X, mes gauname vertę

,

vadinama sąlygine entropija X fiksuotame y jÎ Y. Atkreipkite dėmesį, kad į šis apibrėžimas yra neaiškumų kada P(x i/y j)=0. Reikėtų pažymėti, kad formos išraiška zžurnalas z linkęs į nulį ties z® 0 ir šiuo pagrindu skaičiuojame raides atitinkančius entropijos terminus x i su tikimybe P(x i/y j)=0, lygus nuliui.

Naujai įvesta entropija H(X/y j) yra atsitiktinis dydis, nes jis priklauso nuo atsitiktinio dydžio y j. Norint gauti neatsitiktinę informaciją, būdingą tikimybinių ansamblių porai, būtina atlikti visų verčių vidurkį. y j . Didumas

paskambino sąlyginė entropija ansamblis X su fiksuotu ansambliu Y. Pažymėkime keletą sąlyginės entropijos savybių.

2. , o lygybė atsiranda tada ir tik tada, kai ansambliai X Ir Y nepriklausomas.

5. Be to, lygybė atsiranda tada ir tik tada, kai ansambliai X Ir Y sąlyginai nepriklausomas visiems zО Z.

diskutuokime" fizinę reikšmę» suformuluotos sąlyginės entropijos savybės. 2 savybė teigia, kad sąlyginė ansamblio entropija neviršija besąlyginės entropijos. 5 savybė sustiprina šį teiginį. Iš to išplaukia, kad sąlyginė entropija nedidėja didėjant sąlygų skaičiui. Abu šie faktai nestebina, jie atspindi tai, kad papildomos informacijos apie ansamblį X, yra kitų ansamblių pranešimuose, vidutiniškai, sumažina ansamblio informacijos turinį (neapibrėžtumą). X. pastaba " vidutiniškai"čia labai svarbu, nes nelygybė H( X/y j) ≤ H( X), paprastai kalbant, nėra tiesa.

Savybės 1–5 reiškia nelygybę

, (11.4)

kurioje lygybė galima tik esant bendram ansamblių savarankiškumui X 1 , …, Xn.

Prisiminkite, kad entropijos apskaičiavimas yra šaltinio raidžių perdavimo arba saugojimo išlaidų apskaičiavimas. Sąlyginės entropijos savybės rodo, kad perduodant raidę Xn+ 1 turėtų naudoti tai, kad ankstesnės raidės X 1 , …, Xn jau žinomi priimančiojoje pusėje. Vietoj to tai leis H(Xn+1) išleisk mažiau H(Xn +1 /X 1 ,…,Xn) bitai. Tuo pačiu metu nelygybė (11.4) rodo kitokį požiūrį į ekonominį kodavimą. Iš šios nelygybės išplaukia, kad prieš kodavimą raidės turi būti sujungtos į blokus ir šie blokai turėtų būti laikomi naujo „išplėsto“ šaltinio raidėmis. Išlaidos bus mažesnės nei naudojant nepriklausomą raidžių kodavimą. Kuris iš dviejų būdų yra efektyvesnis?

Žemiau pateiksime tikslesnį kiekybines charakteristikasŠie du metodai, tačiau prieš tai turime prisiminti kai kuriuos apibrėžimus iš tikimybių teorijos.

Sąlyginė entropija

Entropija (informacinė)- informacinio chaoso matas, bet kurio pirminės abėcėlės simbolio atsiradimo neapibrėžtumas. Nesant informacijos praradimo, jis skaitine prasme yra lygus informacijos kiekiui, tenkančiam vienam perduodamo pranešimo simboliui.

Pavyzdžiui, raidžių sekoje, kurios sudaro sakinį rusų kalba, skirtingos raidės pasirodo skirtingais dažniais, todėl kai kurių raidžių atsiradimo neapibrėžtis yra mažesnė nei kitų. Jei atsižvelgsime į kai kuriuos raidžių derinius (šiuo atveju mes kalbame apie entropiją n-osios eilės, žr.) yra labai reti, tada neapibrėžtis dar labiau sumažėja.

Informacijos entropijos sampratai iliustruoti taip pat galima pasitelkti pavyzdį iš termodinaminės entropijos srities, vadinamo Maksvelo demonu. Informacijos ir entropijos sąvokos turi gilius ryšius viena su kita, tačiau nepaisant to, teorijų vystymasis statistinė mechanika o informacijos teorijai prireikė daug metų, kad jos atitiktų viena kitą.

Formalūs apibrėžimai

Informacinė entropija nepriklausomiems atsitiktiniams įvykiams x Su n galimos sąlygos(nuo 1 iki n) apskaičiuojamas pagal formulę:

Šis kiekis taip pat vadinamas vidutinė pranešimų entropija. Kiekis vadinamas privati ​​entropija, charakterizuoja tik i-e valstybė.

Taigi, įvykio entropija x yra suma su priešingas ženklas visi darbai santykiniai dažniaiįvykio atsiradimas i, padaugintas iš jų pačių dvejetainių logaritmų (2 bazė pasirinkta tik dėl patogumo dirbant su dvejetaine forma pateikta informacija). Šis diskrečiųjų atsitiktinių įvykių apibrėžimas gali būti išplėstas iki tikimybių pasiskirstymo funkcijos.

Apskritai b-arinė entropija(Kur b lygus 2, 3, ...) šaltinis su originalia abėcėle ir diskretiškas paskirstymas tikimybės kur p i yra tikimybė a i (p i = p(a i) ) nustatoma pagal formulę:

Šenono entropijos apibrėžimas yra susijęs su termodinaminės entropijos samprata. Boltzmannas ir Gibbsas padarė puikus darbas Autorius statistinė termodinamika, kuris prisidėjo prie žodžio „entropija“ priėmimo m informacijos teorija. Yra ryšys tarp termodinaminės ir informacinės entropijos. Pavyzdžiui, Maksvelo demonas taip pat kontrastuoja termodinaminė entropija informacijos, o gauti bet kokį informacijos kiekį prilygsta prarastai entropijai.

Alternatyvus apibrėžimas

Kitas būdas apibrėžti entropijos funkciją yra H yra to įrodymas H yra vienareikšmiškai nustatytas (kaip minėta anksčiau) tada ir tik tada H atitinka sąlygas:

Savybės

Svarbu atsiminti, kad entropija yra dydis, apibrėžtas kontekste tikimybinis modelis duomenų šaltiniui. Pavyzdžiui, monetos metimo entropija yra − 2(0,5log 2 0,5) = 1 bitas vienam metimui (darant prielaidą, kad tai nepriklausoma). Šaltinis, generuojantis eilutę, susidedančią tik iš raidžių „A“, neturi nulinės entropijos: . Taigi, pavyzdžiui, galima eksperimentiškai nustatyti tą entropiją Angliškas tekstas yra lygus 1,5 bito vienam simboliui, kuris, žinoma, skirsis įvairiems tekstams. Duomenų šaltinio entropijos laipsnis reiškia vidutinį bitų skaičių viename duomenų elemente, reikalingą jam užšifruoti neprarandant informacijos su optimalia koduote.

1. Kai kurie duomenų bitai gali nenešti informacijos. Pavyzdžiui, duomenų struktūrose dažnai saugoma perteklinė informacija arba turi identiškas dalis, neatsižvelgiant į duomenų struktūroje esančią informaciją.
2. Entropijos dydis ne visada išreiškiamas sveikuoju bitų skaičiumi.

Matematinės savybės

Efektyvumas

Praktiškai sutinkama originali abėcėlė turi tikimybių pasiskirstymą, kuris toli gražu nėra optimalus. Jei pradinė abėcėlė turėjo n simbolių, tada jį galima palyginti su „optimizuota abėcėle“, kurios tikimybių pasiskirstymas yra vienodas. Originalios ir optimizuotos abėcėlės entropijos santykis yra pradinės abėcėlės efektyvumas, kuris gali būti išreikštas procentais.

Iš to išplaukia, kad originalios abėcėlės efektyvumas su n simboliai gali būti apibrėžti tiesiog kaip lygūs jo n-arinė entropija.

Entropija riboja didžiausią įmanomą be nuostolių (arba beveik be nuostolių) suspaudimą, kurį galima realizuoti naudojant teoriškai tipišką rinkinį arba praktiškai Huffmano kodavimą, Lempel-Ziv-Welch kodavimą arba aritmetinį kodavimą.

Variacijos ir apibendrinimai

Sąlyginė entropija

Jei abėcėlės simbolių seka nėra nepriklausoma (pavyzdžiui, in prancūzų po raidės „q“ beveik visada yra „u“, o po žodžio „išplėstinė“. sovietiniai laikraščiai paprastai po to yra žodis „gamyba“ arba „darbas“), informacijos kiekis, kurį perneša tokių simbolių seka (taigi ir entropija), yra akivaizdžiai mažesnis. Norint atsižvelgti į tokius faktus, naudojama sąlyginė entropija.

Pirmosios eilės sąlyginė entropija (panaši į pirmosios eilės Markovo modelį) yra abėcėlės entropija, kai žinomos tikimybės, kad viena raidė pasirodys po kitos (ty dviejų raidžių derinių tikimybė):

Kur i yra būsena, priklausanti nuo ankstesnio simbolio, ir p i (j) – tokia tikimybė j, su sąlyga i buvo ankstesnis veikėjas.

Taigi, rusų kalbai be raidės "".

Informacijos praradimai perduodant duomenis triukšmingu kanalu yra visiškai aprašomi dalinėmis ir bendromis sąlyginėmis entropijomis. Tam tikslui vadinamieji kanalų matricos. Taigi, norėdami apibūdinti šaltinio nuostolius (tai yra, išsiųstas signalas yra žinomas), apsvarstykite sąlyginę tikimybę, kad imtuvas gaus simbolį. b j su sąlyga, kad veikėjas buvo išsiųstas a i. Šiuo atveju kanalo matrica yra tokia:

Akivaizdu, kad išilgai įstrižainės esančios tikimybės apibūdina teisingo priėmimo tikimybę, o visų stulpelio elementų suma duos tikimybę, kad atitinkamas simbolis pasirodys imtuvo pusėje - p(b j) . Nuostoliai vienam perduodamam signalui a i, aprašomi naudojant dalinę sąlyginę entropiją:

Visų signalų perdavimo nuostoliams apskaičiuoti naudojama bendroji sąlyginė entropija:

Tai reiškia, kad entropija šaltinio pusėje yra entropija imtuvo pusėje: ji nurodoma ne visur (sumavus eilutės elementus; p(a i) , o įstrižainės reiškia tikimybę, kad buvo išsiųstas tikslus gautas simbolis, ty teisingo perdavimo tikimybę).

Abipusė entropija

Abipusė entropija arba sąjungos entropija, skirtas tarpusavyje sujungtų sistemų entropijai (statistiškai priklausomų pranešimų bendro atsiradimo entropijai) apskaičiuoti ir žymimas H(AB), kur A, kaip visada, apibūdina siųstuvą ir B- imtuvas.

Ryšys tarp perduodamų ir priimamų signalų apibūdinamas tikimybėmis bendri renginiai p(a i b j) , ir už pilnas aprašymas kanalo charakteristikos, reikalinga tik viena matrica:

Daugiau bendras atvejis, kai aprašomas ne kanalas, o tiesiog sąveikaujančios sistemos, matrica nebūtinai turi būti kvadratinė. Akivaizdu, kad visų stulpelio elementų su skaičiumi suma j duos p(b j) , eilutės numerio suma i Yra p(a i) , o visų matricos elementų suma lygi 1. Bendra tikimybė p(a i b j) įvykius a i Ir b j apskaičiuojamas kaip pradinės ir sąlyginės tikimybės sandauga,

Sąlyginės tikimybės sudaromos naudojant Bayes formulę. Taigi, yra visi šaltinio ir imtuvo entropijų skaičiavimo duomenys:

Abipusė entropija apskaičiuojama nuosekliai sudedant eilutes (ar stulpelius) visas matricos tikimybes, padaugintas iš jų logaritmo:

Matavimo vienetas yra bitas/du simboliai, tai paaiškinama tuo, kad abipusė entropija apibūdina neapibrėžtį vienai simbolių porai – siunčiamai ir gaunamai. Paprastomis transformacijomis taip pat gauname

Abipusė entropija turi savybę informacijos išsamumas- iš jo galite gauti visus svarstomus kiekius.

Tolesniam pristatymui mums reikės žinomos informacijos iš tikimybių teorijos.

1) Atsitiktinių įvykių ansamblio tikimybių savybės A Ir IN:

P(A,B)=P(A)*P(B/A); -> P(B/A)=P(A,B)/P(B);

P(A,B)=P(B)*P(B/A); -> P(A/B)=P(A,B)/P(A);

P(A/B)=P(A)*P(B/A)/P(B);

P(B/A)=P(B)*P(A/B)/P(A); A Ir IN Jeigu

tada yra nepriklausomi

P(A/B)=P(A); P(B/A)=P(B):

P(A,B)=P(A)*P(B);

Dar kartą Šenono entropijos apibrėžimas atskirų pranešimų šaltiniui:

Jo savybės: ;

H > 0mN;

kirvis = log N Su nepriklausomais šaltiniais;

H(A,B)=H(A)+H(B)

SĄLYGINĖ ENTROPIJA Jei sistemos elementų būsenos nepriklauso viena nuo kitos arba vienos sistemos būsena nepriklauso nuo kitos sistemos būsenos, tai neapibrėžtumas, kad kuris nors sistemos elementas (ar kuri nors sistema) bus viename iš sistemos elementų. galimas būsenas visiškai nulemtų atskirų sistemos elementų tikimybinės charakteristikos . Šiuo atveju informacija apie sistemos elemento būseną arba pranešimo simbolį vadinama vidutine entropija, o ją skaičiuojant naudojama išraiška

Skaičiuojant vidutinį informacijos kiekį vienam pranešimo simboliui, atsižvelgiama į tarpusavio priklausomybę sąlyginės kai kurių įvykių atsiradimo tikimybės, palyginti su kitais, o gauta entropija vadinama sąlygine entropija.

Panagrinėkime pranešimų perdavimą iš atsitiktinių simbolių šaltinio A informacijos perdavimo kanalu. Šiuo atveju daroma prielaida, kad naudojant patikimą perdavimą, kai perduodamas simbolis a 1, gauname b 1 , a 2 - b 2 ir tt Tokiu atveju kanalui su trukdžiais perdavimas iškraipomas, o kai gaunamas simbolis b 1 galime kalbėti tik apie simbolio retransliavimo tikimybę a 1 . Gali būti, kad simboliai buvo perduoti a 2 , a 3 ir tt

Iškraipymai aprašomi sąlyginių kanalų tikimybių matrica P(A/ B)={ p(a i / b i }.

Panagrinėkime signalų perdavimo kanalu su triukšmu procesą ir pasinaudokime juo, kad suprastume sąlyginės entropijos skaičiavimo mechanizmą.

Jei pranešimo šaltinis sukuria simbolius

a l , A 2 , ..., a i ..., A n

atitinkamai su tikimybėmis

p(a 1 ), p (a 2 ) ... ..., p (a i ), ..., p (a n ),

o perdavimo kanalo išvestyje gauname simbolius

b 1 ,b 2 , ..., b i ..., b n

atitinkamai su tikimybėmis

p(b 1 ), p (b 2 ), ..., p (g i , ..., p (b n ),

tada sąlyginės entropijos samprata H (B/a i ) siunčiant išreiškia netikrumą, ką a i , mes gausime b i., koncepcija H(A/b i ) neapibrėžtumas, kuris lieka gavus b i kas tiksliai buvo išsiųsta a i. Tai grafiškai pavaizduota aukščiau esančiame paveikslėlyje. Jei ryšio kanale yra trikdžių, bet kuris iš signalų gali būti priimtas su skirtingu tikimybės laipsniu b j ir, atvirkščiai, gautas signalas b j gali pasirodyti siunčiant bet kurį iš signalų a i . Jei ryšio kanale nėra trukdžių, siunčiamas simbolis visada yra A 1 atitinka priimtą charakterį b 1 , A 2 -b 2 ,..., A n -b n .

Šiuo atveju pranešimo šaltinio H(A) entropija yra lygi pranešimo gavėjo H(B) entropijai.. Jei ryšio kanale yra trukdžių, jie sunaikina arba iškraipo dalį perduodamos informacijos.

Informacijos praradimai yra visiškai aprašomi naudojant privačią ir bendrąją sąlyginę entropiją. Dalinę ir bendrąją sąlyginę entropiją patogu apskaičiuoti naudojant kanalų matricas. Terminas „kanalo matrica“ reiškia: matricą, kuri statistiškai apibūdina šis kanalas ryšys, naudojamas trumpumui. Jei ryšio kanalas aprašomas iš pranešimo šaltinio pusės (t.y. siunčiamas signalas žinomas), tada tikimybė, kad perduodant signalą a i per ryšio kanalą su trukdžiais gausime signalą b j žymima kaip sąlyginė tikimybė p(b j /ai). o kanalo matrica turi formą

Tikimybės, esančios išilgai įstrižainės (paryškintu šriftu), nustato teisingo priėmimo tikimybę, likusios - klaidingos. Skaitmenų, užpildančių kanalo matricos stulpelius, reikšmės paprastai mažėja didėjant atstumui nuo pagrindinės įstrižainės, o visiškai nesant trukdžių, visi skaitmenys, esantys pagrindinėje įstrižainėje, yra lygūs nuliui.

Simbolio perdavimas a i iš pranešimo šaltinio pusės tam tikrame ryšio kanale apibūdinamas formos sąlyginių tikimybių pasiskirstymu p(b j /a i ), tikimybių suma visada turi būti lygi vienetui. Pavyzdžiui, dėl signalo A 1

Informacijos nuostoliai vienai daliai signalo a i aprašomi naudojant dalinę sąlyginę entropiją. Pavyzdžiui, dėl signalo a 1

Sumavimas atliekamas pagal j, nes i- valstybė (in šiuo atveju pirma) išlieka pastovus.

Transmisijos praradimas visi signalai per tam tikrą ryšio kanalą aprašomi naudojant bendrąją sąlyginę entropiją. Norėdami jį apskaičiuoti, turėtumėte susumuoti visas dalines sąlygines entropijas, t. y. atlikti dvigubą sumavimą i ir pagal j.

Esant nelygiai pranešimo šaltinio simbolių atsiradimo tikimybei, reikia atsižvelgti į kiekvieno simbolio atsiradimo tikimybę, padauginus iš jos atitinkamą dalinę sąlyginę entropiją. Šiuo atveju visa sąlyginė entropija

Jei panagrinėtume situaciją iš šalies žinutės gavėjas(tai yra kai žinomas gautas signalas), tada gavus simbolį b j daroma prielaida, kad buvo išsiųstas vienas iš simbolių a 1 , a 2 , …, a i ,…, a m. Šiuo atveju kanalo matrica yra tokia:

Šiuo atveju sąlyginių tikimybių sumos turi būti lygios vienai ne kanalo matricos eilutėse, o stulpeliuose

Dalinė sąlyginė entropija

Ir visa sąlyginė entropija

Suminė sąlyginė sistemos entropija B, palyginti su sistema A, apibūdina informacijos kiekį, esantį bet kuriame pranešimo šaltinio simbolyje, per kurį atvaizduojame tiriamų sistemų elementų būsenas.

Bendroji sąlyginė entropija nustatoma apskaičiuojant visų simbolių, ty visų būsenų, vidurkį. A i atsižvelgiant į kiekvieno iš jų atsiradimo tikimybę. Jis lygus šaltinio simbolių atsiradimo tikimybių ir neapibrėžtumo sandaugų sumai, kuri lieka adresatui gavus simbolius:

Jei ryšio kanale nėra trukdžių, tada visi kanalo matricos elementai, išskyrus esančius pagrindinėje įstrižainėje, yra lygūs nuliui. Tai rodo, kad perduodant signalą A 1 tikrai sulauksime b 1 perdavus A 2 - b 2 ,..., A m - b m. Tikimybė gauti tinkamą signalą taps besąlyginis, ir sąlyginis entropija bus lygi nuliui.

Sąlyginė entropija pasiekia maksimumą tuo atveju, kai perduodamas simbolis A i gal su lygia tikimybe bet kurį gautą signalą b 1 , b 2 , ..., b m .

Atsižvelgdami į Šenono formulę (3.3), skirtą atsitiktinio dydžio entropijai ir informacijos kiekiui apskaičiuoti, darėme prielaidą, kad informacija apie atsitiktinį kintamąjį (X) patenka tiesiai į stebėtoją. Tačiau, kaip taisyklė, informaciją gauname ne apie mus dominantį atsitiktinį kintamąjį (X), o apie kokį nors kitą (Y), kuris stochastiškai susijęs su X. Toks atsitiktinių dydžių ryšys skiriasi nuo funkcinio ryšio, kuriame kiekviena vienos reikšmės reikšmė atitinka vieną, tiksliai apibrėžtą kitos reikšmės reikšmę. Stochastinis (tikimybinis) ryšys tarp dviejų atsitiktinių dydžių X ir Y reiškia, kad vieno iš jų pokytis turi įtakos kito reikšmei, tačiau taip, kad žinant X reikšmę neįmanoma tiksliai nurodyti reikšmės, kurią Y imsis Galite nurodyti tik vertės Y kitimo tendenciją.

Tegul B – atsitiktinis įvykis; p(B) – jo atsiradimo tikimybė; Pažymėkime X atsitiktinį kintamąjį, kuris užima N skirtingos reikšmės(x 1 , x 2 , … x N ), o per A k įvykis, kad atsitiktinis dydis X įgis x k reikšmę:

A k = (X = xk), k = 1,2, …N;

Įvykio A k tikimybę žymime p(A k). Kai kurių įvykių tikimybė gali keistis priklausomai nuo to, ar įvyksta koks nors kitas įvykis, ar ne. Įvykio A k tikimybė p B (A k), apskaičiuota darant prielaidą, kad įvyko įvykis B, vadinama sąlygine įvykio A k tikimybe, šiuo atveju:

Įvykiai A k ir B vadinami nepriklausomais, jei įvykio A k atsiradimo tikimybė nepriklauso nuo to, ar įvykis B įvyko, ar ne Tai reiškia, kad sąlyginė įvykio p B (A k) tikimybė yra lygi „įprastajai“. tikimybė p(A k).

Apibrėžimas. Atsitiktinio dydžio X sąlyginė entropija esant B sąlygai yra dydis

(4.2)

Skirtumas nuo Šenono formulės (3.3) yra tas, kad vietoj tikimybių p(A k) naudojame sąlyginės tikimybės p B (A k).

Tegu dabar Y yra kitas atsitiktinis kintamasis, turintis reikšmes (y 1 , y 2 , ... y M ). B j pažymėkime įvykį, kai atsitiktinis kintamasis Y įgyja y j reikšmę:

B j = ( Y = y j ), j = 1, 2,… M.

Įvykio B j tikimybę žymime p(B j).

Apibrėžimas. Atsitiktinio dydžio X sąlyginė entropija at nustatyta vertė Atsitiktinis dydis Y yra dydis H Y (X)

(4.3)

Transformuokime (4.3) formulę:

Formulė (4.3) yra tokia:

(4.4)

Apskaičiuokime informacijos kiekį apie atsitiktinį dydį X, gautą stebint atsitiktinį dydį Y. Šis informacijos kiekis I(X,Y) lygus atsitiktinio dydžio X entropijos sumažėjimui stebint atsitiktinį dydį Y:

Pakeiskime H(X) ir H Y (X) išraiškas į (15):

Pirmoje sumoje pakeičiame p(A k)=p(A k B 1)+ p(A k B 2)+ p(A k B 3)…+ p(A k B M). Ši lygybė tikrai vyksta, nes įvykiai A k B 1 , A k B 2 , … A k B M yra nesuderinami poromis ir vienas iš jų įvyks, jei įvyks A k. Ir atvirkščiai, jei atsiranda vienas iš B j, tada atsiranda ir A k. Tęsdami transformacijas gauname:

Taigi, mes turime formulę, kaip apskaičiuoti informacijos kiekį apie atsitiktinį kintamąjį X stebint kitą atsitiktinį kintamąjį Y:

(4.6)

Jeigu atsitiktiniai dydžiai(arba įvykiai) yra nepriklausomi, tada jiems galioja santykis p(A k B j) = p(A k)p(B j) - dviejų įvykių bendro pasireiškimo tikimybė yra lygi tikimybių sandaugai šiuos įvykius.

Kalbant apie reikšmę I(X,Y), šie teiginiai yra teisingi.

Dėl nepriklausomų atsitiktinių dydžių gauname

Tai reiškia, kad atsitiktinio dydžio Y stebėjimas nesuteiks jokios naudos gaunant informaciją apie atsitiktinį kintamąjį X.

Kitais atvejais I(X,Y) >0 ir galioja ši nelygybė:

Lygybė pasiekiama, jei yra funkcinis ryšys Y=F(X). Šiuo atveju stebint Y gaunama visa informacija apie X. Jei Y=X, tai I(X,X) = H(X).

Dydis I(X,Y) yra simetriškas: I(X,Y) = I(Y,X). Tai reiškia, kad atsitiktinio dydžio Y stebėjimas suteikia tiek pat informacijos apie atsitiktinį dydį X, kiek ir atsitiktinio dydžio X stebėjimas apie atsitiktinį dydį Y. Jei nagrinėsime du atsitiktinius dydžius, kurie yra stochastinėje priklausomybėje, tada informacinės teorijos pagalba neįmanoma nustatyti, kuri iš jų yra priežastis, o kuri pasekmė.

Sąlyginė entropija

Raskime jungtinę komplekso entropiją informacinė sistema(kompozicijos A, B), jeigu jų pranešimai nėra savarankiški, t.y. jei pranešimo B turinį įtakoja pranešimas A.

Pavyzdžiui, pranešimas apie futbolo komandų „Comet“ ir „Raketa“ rungtynes ​​„Kometa laimėjo“ visiškai pašalina netikrumą, kaip „Rocket“ žaidė.

Kitas pavyzdys: žinutėje A pateikiama informacija apie vyrą (pavardė, vardas, tėvavardis, gimimo metai, gimimo vieta, išsilavinimas, namų adresas ir telefono numeris) ir žinutė IN yra panašios informacijos apie moterį – minėto vyro žmoną. Aišku žinutė IN iš dalies yra pateikta informacija A, būtent: žmonos pavardė, namų adresas ir telefono numeris, greičiausiai sutampa su vyro pavarde, namų adresas ir telefono numeris, taip pat tikimybinis vertinimas savo gimimo metus, kurie greičiausiai yra artimi jos vyro gimimo metams. Taigi žinutė IN neša mums mažiau informacijos nei pranešimas A, o bendra dviejų pranešimų informacija nėra paprasta atskirų pranešimų informacijos suma.

Tegul šaltinis A sukuria ansamblį Ma pranešimus (a a, a 2 ,..., a Ma), šaltinis generuoja ansamblį Mbžinutės (b 2, b 2,..., bdd,) ir šaltiniai yra priklausomi. Bendroji abėcėlėšaltiniai yra formų (a, b;) porų rinkinys, bendra abėcėlės galia yra: Ma X Mb

Sudėtingos informacinės sistemos entropija (iš dviejų šaltinių) lygi

Nes A ir B tada priklausomas A

Pakeičiant tai entropijos išraiška sudėtinga sistema, gauname:

Pirmuoju laikotarpiu indeksas j galima tik nuo IN, keičiant sumavimo tvarką, gauname formos terminą ), kuris yra lygus 1, nes apibūdina patikimą įvykį

(bet kuriuo atveju bet kuris pranešimas įgyvendinamas). Todėl pirmasis terminas yra lygus:

Antrame termine formos terminai

turėti šaltinio B entropijos reikšmę, jei pranešimas a buvo realizuotas; - vadinsime tai daline sąlygine entropija. Jei įeisite ši koncepcija ir naudokite jo žymėjimą, tada antrasis terminas turės tokią formą:

arba daugiau informacijos

čia H(B |A) yra visa sąlyginė šaltinio entropija IN palyginti su šaltiniu A. Galiausiai gauname sudėtingos sistemos entropiją:

Gauta išraiška yra bendroji taisyklė rasti sudėtingos sistemos entropiją. Visiškai akivaizdu, kad (2.9) išraiška yra ypatingas (2.11) atvejis, jei šaltiniai yra nepriklausomi A ir B.

Kalbant apie sąlyginę entropiją, galima pateikti šiuos teiginius.

1. Sąlyginė entropija yra neneigiamas dydis. Be to, H(B |A) = 0, tik jei yra pranešimas A visiškai apibrėžia pranešimą IN, tie.

Šiuo atveju H(A, B) = H(A).

2. Jei šaltiniai A ir IN yra nepriklausomi, tada H(B |A) = H(B), ir tai pasirodo didžiausia vertė sąlyginė entropija. Kitaip tariant, šaltinio A pranešimas negali padidinti šaltinio B pranešimo neapibrėžtumo; tai gali neturėti jokio poveikio (jei šaltiniai yra nepriklausomi) arba sumažinti B entropiją.

Aukščiau pateiktus teiginius galima sujungti viena nelygybe:

tie. sąlyginė entropija neviršija besąlyginės entropijos.

3. Iš (2.11) ir (2.12) santykių išplaukia, kad

Be to, lygybė realizuojama tik tada, kai šaltiniai A ir B yra nepriklausomi.

Šaltinio entropija nuolatiniai pranešimai

Apsvarstykite sistemą, kurioje kokybės atributai būsenos nuolat keičiasi ( nuolatinis signalas). Tikimybė, kad sistema bus būsenoje x (t. y. signalas įgaus reikšmę x), apibūdinama tikimybės tankiu /(x). Norėdami rasti tokio pranešimo entropiją, galimų signalo pokyčių diapazoną padalijame į Dx dydžio diskrečius. Tikimybė rasti sistemą i-ajame diskrete lygi