Informacijos teorija
Informacijos teorijos ištakose yra Claude'as Shannonas, kuris 1947–1948 m. dirbo ryšių sistemų efektyvumo klausimu. Dėl to buvo suformuluotas šios teorijos tikslas – padidinti ryšio kanalo pajėgumą. Veiksminga sistema yra ta, kuri, esant kitoms sąlygoms ir sąnaudoms, perduoda daugiau informacijos. Paprastai analizėje atsižvelgiama į objektą: informacijos šaltinį ir informacijos perdavimo kanalą.
Taigi, yra keletas įvykių. Informacija apie juos simboline forma, signalo pavidalu, perduodama ryšio kanalu. Galima teigti, kad kanalas yra geras, jei atitinka dvi sąlygas. Pirma, per jį informacija perduodama dideliu greičiu ir, antra, trukdžiai, darantys įtaką perdavimui, šiek tiek sumažina informacijos kokybę. Norint rasti tokio perdavimo sąlygas, būtina įvesti kai kurias informacijos charakteristikas.
Pagrindiniai informacijos teorijos principai aiškiausiai pasireiškia naudojant atskirą šaltinį ir tą patį kanalą. Todėl pažintį su tema pradėsime nuo šios prielaidos.
1.1 Kiekybinis informacijos matas.
Pirmiausia išsiaiškinkime, ką prasminga perduoti kanalu.
Jei gavėjas žino, kokia informacija bus perduota, tada jos perduoti, aišku, nereikia. Prasminga perteikti tik tai, kas netikėta. Kuo didesnis netikėtumas, tuo daugiaušiame įvykyje turi būti pateikta informacija. Pavyzdžiui, jūs dirbate prie kompiuterio. Pranešimas, kad šios dienos darbas turi būti atliktas per 45 minutes. pagal tvarkaraštį vargu ar jums bus naujiena. Tai buvo visiškai aišku dar prieš paskelbiant apie darbo pabaigą. Todėl tokiame pranešime nėra informacijos; nėra prasmės to perduoti. O dabar kitas pavyzdys. Žinutė tokia: po valandos viršininkas padovanos lėktuvo bilietą į Maskvą ir atgal, taip pat paskirs pinigų sumą pramogoms. Tokia informacija jums netikėta, todėl joje yra daug matavimo vienetų. Tai yra tokių pranešimų, kuriuos prasminga perduoti kanalu. Išvada labai paprasta: kuo daugiau netikėtumo žinutėje, tuo daugiau informacijos joje.
Netikėtumui būdinga tikimybė, kuri įtraukiama į informacinį matą.
Dar keli pavyzdžiai. Turime dvi dėžutes, viena su baltais kamuoliukais, kita su juodais kamuoliukais. Kiek informacijos yra pranešime, kuriame yra balti rutuliai? Tikimybė, kad bet kurioje dėžutėje yra baltų rutuliukų, yra 0,5. Pavadinkime šią tikimybę iki patirties arba a priori .
Dabar išimame vieną rutulį. Nepriklausomai nuo to, kurį kamuolį išėmėme, po tokio eksperimento tikrai žinosime, kurioje dėžutėje yra balti rutuliukai. Todėl informacijos tikimybė bus lygi 1. Ši tikimybė vadinama po eksperimentinės arba a posteriori .
Pažiūrėkime šis pavyzdys informacijos kiekio požiūriu, turime informacijos šaltinį – dėžutes su kamuoliukais. Iš pradžių neapibrėžtumas dėl kamuoliukų buvo apibūdintas 0,5 tikimybe. Tada šaltinis „kalbėjo“ ir išdavė informaciją; ištraukėme kamuolį. Be to, viskas buvo nulemta 1 tikimybe. Logiška kiekybiniu informacijos matu laikyti įvykio neapibrėžtumo, atsiradusio dėl patirties, laipsnį. Mūsų pavyzdyje tai bus 1/0,5.
Dabar pavyzdys yra sudėtingesnis. Yra žinoma, kad detalės dydis gali būti 120 121 122, . . .,180 mm., tai yra, jis turi vieną iš 61 reikšmės. Išankstinė tikimybė, kad dalies dydis i mm yra 1/61.
Turime labai netobulą matavimo įrankį, kuris leidžia detalę išmatuoti +5,-5 mm tikslumu. Atlikus matavimus, dydis buvo 130 mm. Bet iš tikrųjų tai gali būti 125 126, . . .,135 mm; tik 11 verčių. Dėl eksperimento išlieka neapibrėžtis, kuriai būdinga 1/11 posteriori tikimybė. Neapibrėžtumo mažinimo laipsnis bus (1/11):(1/61). Kaip nurodyta aukščiau, šis santykis yra informacijos kiekis.
Patogiausia logaritminė funkcija kad atspindėtų informacijos kiekį. Laikoma, kad logaritmo pagrindas yra du. Pažymėkime informacijos kiekį 
- a priori tikimybė, 
- užpakalinė tikimybė. Tada
.
(1)
Pirmame pavyzdyje 
1 bitas informacijos; antrajame 
2,46 bitų informacijos. Bitas – vienas dvejetainis informacijos vienetas
.
Dabar pereikime prie tikrojo informacijos šaltinio, kuris yra rinkinys nepriklausomi renginiai(pranešimai) su skirtingomis išankstinėmis tikimybėmis 
. Šis rinkinys vaizduoja duomenis apie objekto parametrus ir yra informacija apie jį. Paprastai po to, kai šaltinis pateikia pranešimą, tampa patikimai žinoma, kuris parametras buvo išduotas. Užpakalinė tikimybė yra 1. Kiekviename įvykyje esančios informacijos kiekis bus lygus
.
(2)
Ši vertė visada yra didesnis už nulį. Tiek daug įvykių, tiek daug informacijos. Tai nėra visiškai patogu apibūdinti šaltinį. Todėl įvedama entropijos sąvoka. Entropija – tai vidutinis informacijos kiekis vienam šaltinio įvykiui (pranešimui). . Jis randamas pagal matematinio lūkesčio nustatymo taisykles:
.
(3)
Arba atsižvelgiant į logaritminės funkcijos savybes
.
(4)
Entropijos matmenų bitai/pranešimas. Pakalbėkime apie entropijos savybes. Pradėkime nuo pavyzdžio. Tarkime, yra dvejetainis informacijos šaltinis su a priori įvykių tikimybe 
Ir 
sudaro visą grupę. Iš to išplaukia ryšys tarp jų: 
. Raskime šaltinio entropiją:
Nesunku pastebėti, kad jei viena iš tikimybių lygi nuliui, tai antroji lygi 1, o entropijos išraiška duos nulį.
Nubraižykime entropijos priklausomybę nuo 
(1 pav.).
Atkreipkime dėmesį į tai, kad entropija yra didžiausia, kai tikimybė lygi 0,5 ir visada yra teigiama.
Pirmoji entropijos savybė . Entropija yra didžiausia vienodai tikėtiniems šaltinio įvykiams. Mūsų dvejetainio šaltinio pavyzdyje ši reikšmė yra 1. Jei šaltinis nėra dvejetainis ir jame yra N žodžiai, tada maksimali entropija.
Antroji entropijos savybė. Jei vieno šaltinio pranešimo tikimybė yra 1, o kitų lygi nuliui, nes sudaro visą įvykių grupę, tada entropija yra lygi nuliui. Toks šaltinis negeneruoja informacijos.
Trečioji entropijos savybė yra entropijos sudėjimo teorema
. Pažvelkime į šį klausimą išsamiau. Tarkime, yra du informacijos šaltiniai, vaizduojami pranešimų rinkiniais 
Ir 
.
Kiekvienas šaltinis turi entropiją 
Ir 
. Toliau šie šaltiniai sujungiami ir reikia rasti kombinuoto ansamblio entropiją 
. Kiekviena pranešimų pora 
Ir 
atitinka tikimybę 
. Informacijos kiekis tokioje poroje bus
Tęsdami gerai žinomu būdu, randame vidutinį informacijos kiekį vienai ansamblio pranešimų porai. Tai bus entropija. Tiesa, čia gali būti du atvejai. Kombinuoti ansambliai gali būti statistiškai nepriklausomi ir priklausomi.
Apsvarstykite pirmąjį nepriklausomų ansamblių atvejį, pranešimo atsiradimą 
niekaip neapibrėžtas 
. Užrašykime entropijos išraišką:
,
(7)
Čia 
- pranešimų skaičius ansambliuose.
Kadangi su nepriklausomybe gauname dvimatę tikimybę , a, iš bendrosios ankstesnės formulės
Kur 
Ir 
nustatomi žinomomis formulėmis.
Toliau nagrinėsime sudėtingesnį atvejį. Tarkime, kad pranešimų ansambliai yra statistiškai susiję, ty 
su tam tikra tikimybe rodo išvaizdą 
. Šis faktas apibūdinamas sąlygine tikimybe 
; Pasvirasis brūkšnys žymėjime apibūdina būseną. Įvedus sąlygines tikimybes, dvimatę tikimybę galima apibrėžti naudojant vienmačių tikimybių sandaugą:
Atsižvelgdami į tai, raskime entropijos išraišką. Konversija vyksta taip:
Atsižvelgiant į tai, kad visų įvykių tikimybių suma lygi 1, pirmoji dviguba suma paskutinėje išraiškoje suteikia šaltinio X entropiją, H(x).
Antroji dviguba suma vadinama sąlygine entropija ir žymima kaip 
. Taigi,
Panašiu būdu galima įrodyti, kad.
Paskutinėse išraiškose susidūrėme su sąlygine entropija, kurią lemia ryšys tarp kombinuotų pranešimų ansamblių. Jeigu ansambliai statistiškai nepriklausomi 
, ir sąlyginė entropija 
. Dėl to gauname gerai žinomą formulę.
Jei pranešimai yra visiškai priklausomi, tai yra, jie yra funkciniame ryšyje, 
įgauna vieną iš dviejų reikšmių: arba 1, kada 
, arba 0 kai 
. Sąlyginė entropija bus lygi 0, nes antrasis pranešimų ansamblis neturi netikėtumo, todėl neneša informacijos.
Pristatę entropiją ir jos savybes, grįžkime prie vienintelio informacijos šaltinio. Turėtumėte žinoti, kad bet koks informacijos šaltinis veikia dabartiniu laiku. Jo simboliai (ženklai) užima tam tikrą vietą sekoje. Informacijos šaltinis vadinamas stacionariu, jei simbolio tikimybė nepriklauso nuo jo vietos sekoje. Ir dar vienas apibrėžimas. Šaltinio simboliai gali turėti statistinį (tikimybinį) ryšį vienas su kitu. Ergodinis informacijos šaltinis yra toks, kuriame statistinis ryšys tarp ženklų tęsiasi iki baigtinio skaičiaus ankstesnių simbolių. Jei šis ryšys apima tik du gretimus ženklus, toks šaltinis vadinamas tiesiog sujungta Markovo grandine. Tai yra šaltinis, kurį dabar apsvarstysime. Simbolių generavimo schema pagal šaltinį parodyta fig. 2.
Simbolio išvaizda 
priklauso nuo charakterio 
buvo pateiktas šaltinio praėjusią akimirką. Šią priklausomybę lemia tikimybė 
. Raskime tokio šaltinio entropiją. Remsimės bendru entropijos kaip matematinio informacijos kiekio lūkesčio supratimu. Tarkime, kad rodomi du simboliai, kaip parodyta pav. 2. Informacijos kiekį tokioje situacijoje pateikia šaltinis
Apskaičiuojant šią sumą visiems galimiems vėlesniems simboliams, gauname dalinę entropiją, su sąlyga, kad ankstesniajam visada suteikiamas simbolis 
:
.
(13)
Dar kartą apskaičiuojant šios dalinės entropijos vidurkį ankstesni simboliai, gauname galutinį rezultatą:
Indeksas 2 entropijos žymėjime rodo, kad statistinis ryšys apima tik du gretimus simbolius.
Apsistokime ties ergodinio šaltinio entropijos savybėmis.
Kai simboliai šaltinyje yra nepriklausomi 
, formulė (14) supaprastinama ir sumažinta iki įprastos formos (4).
Statistinių (tikimybinių) ryšių tarp šaltinio simbolių buvimas visada lemia entropijos sumažėjimą, 
.
Taigi, informacijos šaltinis turi maksimalią entropiją, jei tenkinamos dvi sąlygos: visi šaltinio simboliai yra vienodai tikėtini (entropijos savybė) ir nėra statistinių ryšių tarp šaltinio simbolių.
Norint parodyti, kaip gerai naudojami šaltinio simboliai, įvedamas atleidimo parametras 
:
.
(15)
Didumas 
yra diapazone nuo 0 iki 1.
Požiūris į šį parametrą yra dvejopas. Viena vertus, kuo mažiau pertekliaus, tuo efektyviau veikia šaltinis. Kita vertus, kuo didesnis perteklius, tuo mažiau trukdžių ir triukšmo turi įtakos informacijos pateikimui iš tokio šaltinio vartotojui. Pavyzdžiui, statistinių ryšių tarp simbolių buvimas padidina dubliavimą, bet tuo pačiu padidina perdavimo tikslumą. Galima numatyti ir atkurti atskirus trūkstamus simbolius.
Pažiūrėkime į pavyzdį. Šaltinis yra rusiškos abėcėlės raidės, iš viso jų yra 32. Nustatykime maksimalią entropiją. 
bitas / pranešimas.
Kadangi tarp raidžių egzistuoja statistinis ryšys ir jų atsiradimo tekste tikimybės toli gražu nėra identiškos, tikroji entropija lygi 3 bitams/pranešimui. Iš čia ir perteklius 
.
Kita šaltinio charakteristika yra našumas; jis apibūdina informacijos generavimo greitį pagal šaltinį. Tarkime, kad kiekviena šaltinio raidė išduodama per tam tikrą laikotarpį 
. Apskaičiuojant šių laikų vidurkį, randame vidutinį vieno pranešimo išdavimo laiką 
. Vidutinis šaltinio pagamintos informacijos kiekis per laiko vienetą – šaltinio produktyvumas 
:
.
(16)
Taigi, apibendrinkime. Ergodinio informacijos šaltinio ypatybės yra šios:
informacijos kiekis kiekviename ženkle,
entropija,
atleidimas iš darbo,
pasirodymas.
Reikėtų pažymėti, kad stiprioji vietaĮvestas informacijos kiekio ir, žinoma, visų savybių matas – universalumas. Visos aukščiau pateiktos sąvokos yra taikomos bet kokiai informacijai: sociologinei, techninei ir kt. Silpnoji priemonės pusė yra ta, kad ji neatspindi informacijos reikšmės, jos vertės. Informacija apie laimėjimą rašiklio ir automobilio loterijoje yra vienodai svarbi.
1.2. Informacinės kanalo charakteristikos
Prisiminkime, kad informacija perduodama komunikacijos kanalu. Anksčiau supažindinome su informacijos šaltinio informacinėmis charakteristikomis, o dabar supažindinsime su kanalo informacinėmis charakteristikomis. Įsivaizduokime situaciją, kaip parodyta pav. 1.
Ryžiai. 1
Kanalo įvestyje yra įvesties abėcėlė, susidedanti iš daugelio simbolių 
, o išėjime - 
.
P 
Ryšio kanalą pavaizduokime matematiniu modeliu. Garsiausias diskretinio kanalo vaizdas yra grafiko pavidalu. Grafiko mazgai gauti pagal ( 
) ir perduotas ( 
) abėcėlės raidės; briaunos atspindi galimus ryšius tarp šių raidžių (2 pav.).
Ryšiai tarp abėcėlės raidžių dažniausiai vertinami pagal sąlygines tikimybes, pvz. 
priėmimo tikimybė 
su sąlyga, kad jis bus perduotas 
. Tai yra teisingo priėmimo tikimybė. Lygiai taip pat galima įvesti sąlygines klaidingų technikų tikimybes, pavyzdžiui, 
. Šių nulinių tikimybių atsiradimo priežastys yra trukdžiai, nuo kurių nė vienas tikras kanalas nėra laisvas. Atkreipkite dėmesį, kad n ir m simbolių (raidžių) skaičius perduodamame ir priimtame masyve nebūtinai yra lygus. Remiantis šiuo modeliu, pateikiami tolesni apibrėžimai.
Simetrinis kanalas – tai kanalas, kuriame visos teisingo visų simbolių priėmimo tikimybės yra lygios, o taip pat ir klaidingo priėmimo tikimybė. Tokio kanalo sąlyginę tikimybę galima parašyti taip:
Čia 
– klaidingo priėmimo tikimybė. Jei ši tikimybė nepriklauso nuo to, kokie simboliai buvo perduoti prieš nurodytą simbolį, toks kanalas vadinamas " kanalas be atminties
"Kaip pavyzdys, 3 pav. žemiau parodytas simetrinio dvejetainio kanalo be atminties grafikas.
R 
yra. 3
Darykime prielaidą, kad abėcėlėje kanalo išvestyje yra papildomas simbolis, kuris atsiranda, kai imtuvo dekoderis negali atpažinti siunčiamo simbolio. Tokiu atveju jis atsisako priimti sprendimą. Ši padėtis vadinama trynimu. Šis kanalas vadinamas kanalas be atminties su trynimu ir jo grafikas parodytas fig. 4. „Ištrinimo“ padėtis čia nurodoma klaustuku.
R 
yra. 4.
Paprasčiausias kanalas su atmintimi yra Markovo kanalas . Jame klaidų tikimybė priklauso nuo to, ar ankstesnis simbolis buvo gautas teisingai, ar klaidingai.
Kartu su ryšio kanalo grafiku yra ir kitas aprašymas - kanalo matrica
. Tai yra sąlyginių tikimybių rinkinys 
arba 
. Kartu su a priori tikimybe, 
Ir 
tai duoda pilnas vaizdas triukšmingo kanalo statistika. Pavyzdžiui, pažiūrėkime į kanalo matricą
.
Bet koks pranešimas, su kuriuo susiduriame informacijos teorijoje, yra informacijos apie kokią nors fizinę sistemą rinkinys. Pavyzdžiui, pranešimas apie normalų ar padidėjusį defektų procentą, apie cheminė sudėtisžaliavos arba orkaitės temperatūra. Į lėšų valdymo sistemos įvestį oro gynyba gali būti perduotas pranešimas, kad ore yra du taikiniai, skrendantys tam tikrame aukštyje, tam tikru greičiu. Į tą patį įvestį gali būti perduotas pranešimas, kad tam tikrame aerodrome šiuo metu yra tam tikras skaičius naikintuvų arba kad aerodromas buvo išjungtas priešo ugnies, arba kad pirmasis taikinys buvo numuštas, o antrasis tęsiasi. skristi modifikuotu kursu. Bet kuris iš šių pranešimų apibūdina kai kurių būseną fizinę sistemą.
Akivaizdu, kad jei fizinės sistemos būsena būtų žinoma iš anksto, nebūtų prasmės perduoti pranešimą. Pranešimas įgyja prasmę tik tada, kai sistemos būsena iš anksto, atsitiktinai nežinoma.
Todėl objektu, apie kurį perduodama informacija, laikysime tam tikrą fizinę sistemą, kuri gali atsitiktinai atsidurti vienoje ar kitoje būsenoje, t. y. sistemą, kuri akivaizdžiai būdinga tam tikram neapibrėžtumui. Akivaizdu, kad informacija, gauta apie sistemą, paprastai bus vertingesnė ir reikšmingesnė, tuo didesnis sistemos neapibrėžtumas prieš gaunant šią informaciją („a priori“). Kyla natūralus klausimas: ką reiškia „didesnis“ ar „mažesnis“ neapibrėžtumo laipsnis ir kaip jį išmatuoti?
Norėdami atsakyti į šį klausimą, palyginkime dvi sistemas, kurių kiekviena turi tam tikrą neapibrėžtumą.
Kaip pirmąją sistemą paimkime monetą, kuri dėl metimo gali atsidurti vienoje iš dviejų būsenų: 1) iškilo herbas ir 2) iškilo skaičius. Antrasis yra kauliukas, turintis šešis galimos būsenos: 1, 2, 3, 4, 5 ir 6. Kyla klausimas, kuri sistema turi daugiau neapibrėžtumo? Akivaizdu, kad antroji, nes ji turi daugiau galimų būsenų, kurių kiekvienoje ji gali baigtis su ta pačia tikimybe.
Gali atrodyti, kad neapibrėžtumo laipsnį lemia galimų sistemos būsenų skaičius. Tačiau į bendras atvejis tai negerai. Apsvarstykite, pavyzdžiui, techninį įrenginį, kuris gali būti dviejų būsenų: 1) veikiantis ir 2) sugedęs. Darykime prielaidą, kad prieš gaunant informaciją (a priori) įrenginio tinkamo veikimo tikimybė yra 0,99, o gedimo tikimybė – 0,01. Tokia sistema turi tik labai mažą neapibrėžtumo laipsnį: beveik neabejotina, kad įrenginys veiks tinkamai. Metant monetą taip pat galimos dvi būsenos, tačiau neapibrėžtumo laipsnis daug didesnis. Matome, kad fizinės sistemos neapibrėžtumo laipsnį lemia ne tik jos galimų būsenų skaičius, bet ir būsenų tikimybės.
Pereikime prie bendro atvejo. Panagrinėkime kokią nors sistemą, kuri gali turėti baigtinį būsenų rinkinį: su tikimybėmis , kur
(18.2.1)
Tikimybė, kad sistema įgaus būseną (simbolis žymi įvykį: sistema yra būsenoje). Akivaizdu,.
Šiuos duomenis parašykime lentelės pavidalu, kur viršutinėje eilutėje surašytos galimos sistemos būsenos, o apatinėje – atitinkamos tikimybės:
Ši lentelė parašyta panašiai kaip nepertraukiamo paskirstymo serija atsitiktinis kintamasis Su galimas vertes, turintis tikimybių. Iš tiesų, tarp fizinės sistemos ir baigtinis rinkinys būsenos ir nenutrūkstamas atsitiktinis kintamasis turi daug bendro; norint sumažinti pirmąją į antrąją, pakanka kiekvienai būsenai priskirti kokią nors skaitinę reikšmę (tarkime, būsenos numerį). Pabrėžiame, kad norint apibūdinti sistemos neapibrėžtumo laipsnį, visiškai nesvarbu, kokios reikšmės yra parašytos viršutinėje lentelės eilutėje; Svarbu tik šių verčių skaičius ir jų tikimybė.
Informacijos teorija naudoja specialią charakteristiką, vadinamą entropija. Entropijos sąvoka yra esminė informacijos teorijoje.
Sistemos entropija yra tikimybių sandaugų suma įvairios sąlygosŠių tikimybių logaritmų sistemos, paimtos su priešingu ženklu:
. (18.2.2)
Entropija, kaip matysime vėliau, turi nemažai savybių, kurios pateisina jos pasirinkimą kaip neapibrėžtumo laipsnio charakteristiką. Pirma, ji tampa lygi nuliui, kai viena iš sistemos būsenų yra patikima, bet kitos neįmanomos. Antra, tam tikram būsenų skaičiui jis pasiekia maksimumą, kai šios būsenos yra vienodai tikėtinos, o kai būsenų skaičius didėja, jis didėja. Galiausiai, ir tai yra svarbiausia, ji turi adityvumo savybę, tai yra, kai kelios nepriklausomos sistemos sujungiamos į vieną, jų entropijos sumuojasi.
Formulės (18.2.2) logaritmas gali būti priimtas su bet kokiu pagrindu. Bazės keitimas prilygsta tiesiog entropijos padauginimui iš pastovus skaičius, o bazės pasirinkimas yra tolygus konkretaus entropijos matavimo vieneto pasirinkimui. Jei kaip bazę pasirenkamas skaičius 10, tada kalbame apie entropijos „dešimtainius vienetus“, jei 2 - apie „dvejetainius vienetus“. Praktikoje patogiausia logaritmus naudoti 2 bazėje, o entropiją matuoti dvejetainiais vienetais; tai gerai sutampa su naudojamomis elektroninėje skaitmeninėje erdvėje kompiuteriai dvejetainių skaičių sistema.
Toliau, jei nenurodyta kitaip, simbolį visada suprasime kaip dvejetainį logaritmą.
Priede (6 lentelė) pateikti sveikųjų skaičių nuo 1 iki 100 dvejetainiai logaritmai.
Nesunku įsitikinti, kad logaritmų pagrindu pasirenkant 2, entropija laikoma entropijos matavimo vienetu paprasčiausia sistema, kuri turi dvi vienodai galimas būsenas:
Iš tikrųjų pagal (18.2.2) formulę turime:
.
Tokiu būdu apibrėžtas entropijos vienetas vadinamas „dvejetainiu vienetu“ ir kartais žymimas bitu (iš anglų kalbos „dvejetainis skaitmuo“). Tai yra vieno skaitmens entropija dvejetainis skaičius, jei vienodai tikėtina, kad jis bus nulis arba vienas.
Dvejetainiais vienetais išmatuokime vienodai tikėtinas būsenas turinčios sistemos entropiją:
tai yra vienodai galimų būsenų sistemos entropija lygi būsenų skaičiaus logaritmui.
Pavyzdžiui, sistemai su aštuoniomis būsenomis 
.
Įrodykime, kad tuo atveju, kai sistemos būsena tiksliai žinoma iš anksto, jos entropija lygi nuliui. Iš tiesų, šiuo atveju visos (18.2.2) formulės tikimybės išnyksta, išskyrus vieną – pavyzdžiui, kuri yra lygi vienetui. Terminas eina į nulį, nes . Likę terminai taip pat išnyksta, nes
.
Įrodykime, kad sistemos su baigtiniu būsenų rinkiniu entropija pasiekia maksimumą, kai visos būsenos yra vienodai tikėtinos. Norėdami tai padaryti, apsvarstykite sistemos entropiją (18.2.2) kaip tikimybių funkciją ir raskite sąlyginis kraštutinumasši funkcija suteikė:
Naudojant metodą neapibrėžti daugikliai Lagrange, ieškosime funkcijos ekstremumo:
. (18.2.5)
Diferencijuodami (18.2.5) išvesčių atžvilgiu ir prilyginę jas nuliui, gauname lygčių sistemą:
, (18.2.6)
iš kurio aišku, kad ekstremumas (in šiuo atveju maksimalus) pasiekiamas esant vienodoms reikšmėms . Iš sąlygos (18.2.4) aišku, kad šiuo atveju
, (18.2.7)
o didžiausia sistemos entropija yra:
, (18.2.8)
t.y. maksimali vertė sistemos entropija su baigtinis skaičius būsenos yra lygus būsenų skaičiaus logaritmui ir pasiekiamas, kai visos būsenos yra vienodai tikėtinos.
Entropijos apskaičiavimas naudojant formulę (18.2.2) gali būti šiek tiek supaprastintas, jei atsižvelgiama į specialią funkciją:
, (18.2.9)
kur logaritmas imamas į 2 bazę.
Formulė (18.2.2) yra tokia:
. (18.2.10)
Funkcija pateikiama lentelėse; priede (7 lentelė) pateikiamos jo reikšmės nuo 0 iki 1 iki 0,01.
1 pavyzdys. Nustatykite fizinės sistemos, susidedančios iš dviejų orlaivių (naikintuvo ir bombonešio), dalyvaujančių oro kovos. Dėl mūšio sistema gali atsidurti vienoje iš keturių galimų būsenų:
1) abu lėktuvai nenumušti;
2) naikintuvas numuštas, bombonešis nenumuštas;
3) naikintuvas nebuvo numuštas, bombonešis numuštas;
4) abu lėktuvai buvo numušti.
Šių būsenų tikimybės atitinkamai yra 0,2; 0,3; 0,4 ir 0,1.
Sprendimas. Sąlygas rašome lentelės pavidalu:
Šaltinio su priklausomais pranešimais entropija taip pat apskaičiuojama kaip matematinis lūkestis informacijos kiekis kiekvienam šių pranešimų elementui. Informacijos kiekis ir entropija yra logaritminiai matai ir matuojami tais pačiais vienetais.
6. Sujungtų statistiškai nepriklausomų informacijos šaltinių entropija yra lygi jų entropijų sumai. 7. Entropija apibūdina vidutinį neapibrėžtumą pasirenkant vieną būseną iš ansamblio, visiškai ignoruojant esminę ansamblio pusę. EKOSISTEMOS ENTROPIJA – tai ekosistemos sutrikimo matas arba nepasiekiama naudoti energijos kiekis. Kaip daugiau rodiklio entropija, tuo ekosistema mažiau stabili laike ir erdvėje.
4.1.2. Entropija ir atskiro pranešimo šaltinio veikimas
Bet kuris iš šių pranešimų apibūdina tam tikros fizinės sistemos būseną. Matome, kad fizinės sistemos neapibrėžtumo laipsnį lemia ne tik jos galimų būsenų skaičius, bet ir būsenų tikimybės. Informacijos teorija naudoja specialią charakteristiką, vadinamą entropija.
Entropija, kaip matysime vėliau, turi nemažai savybių, kurios pateisina jos pasirinkimą kaip neapibrėžtumo laipsnio charakteristiką. Galiausiai, ir tai yra svarbiausia, ji turi adityvumo savybę, t.y. kai keli nepriklausomos sistemos sujungti į vieną, jų entropijos sumuojasi. Jei kaip bazę pasirenkamas skaičius 10, tai kalbame apie entropijos „dešimtainius vienetus“, jei 2 – apie „dvejetainius vienetus“.
Įrodykime, kad sistemos su baigtiniu būsenų rinkiniu entropija pasiekia maksimumą, kai visos būsenos yra vienodai tikėtinos. 3 pavyzdys. Nustatykite didžiausią galimą sistemos, susidedančios iš trijų elementų, kurių kiekvienas gali būti keturių galimų būsenų, entropiją.
Reikėtų pažymėti, kad šiuo atveju gauta entropijos vertė bus mažesnė nei nepriklausomų pranešimų šaltinio. Tai išplaukia iš to, kad esant žinutės priklausomybei mažėja pasirinkimo neapibrėžtumas ir atitinkamai mažėja entropija. Nustatykime dvejetainio šaltinio entropiją. Priklausomybės grafikas (4.4) pateiktas pav. 4.1. Kaip matyti iš grafiko, dvejetainio šaltinio entropija svyruoja nuo nulio iki vieneto.
Pagrindinės entropijos savybės
Paprastai pažymima, kad entropija charakterizuoja duotas paskirstymas tikimybės, atsižvelgiant į testo rezultato neapibrėžtumo laipsnį, t. y. tam tikro pranešimo pasirinkimo neapibrėžtumą. Iš tiesų, nesunku patikrinti, ar entropija lygi nuliui, tada ir tik tada, kai viena iš tikimybių lygi vienai, o visos kitos lygios nuliui; tai reiškia visišką pasirinkimo tikrumą.
Galima ir kita vizuali entropijos sąvokos interpretacija, kaip šaltinio sukurtų pranešimų „įvairovės“ matas. Nesunku pastebėti, kad aukščiau pateiktos entropijos savybės visiškai atitinka intuityvią įvairovės mato idėją. Taip pat natūralu manyti, kad kuo įvairesnės šio elemento pasirinkimo galimybės, tuo didesnis informacijos kiekis yra pranešimo elemente.
Išraiška, vaizduojanti matematinį informacijos kiekio pasirinktame elemente lūkesčius šaltiniui, esančiam th būsenoje, gali būti vadinama šios būsenos entropija. Pirmiau apibrėžto pranešimo elemento šaltinio entropija priklauso nuo to, kaip pranešimai skirstomi į elementus, t. y. nuo abėcėlės pasirinkimo. Tačiau entropija turi svarbus turtas adityvumas.
Pažymėkime kai kurias entropijos savybes. Entropija. Tai turbūt viena iš sunkiausiai suprantamų sąvokų, su kuria galite susidurti fizikos kurse, bent jau kalbant apie klasikinę fiziką.
Pavyzdžiui, jei paklausite, kur aš gyvenu, o aš atsakau: Rusijoje, tada mano entropija jums bus didelė, juk Rusija didelė šalis. Jei pasakysiu savo pašto kodą: 603081, tai mano entropija jums sumažės, nes gausite daugiau informacijos.
Jūsų žinių apie mane entropija sumažėjo maždaug 6 simboliais. O jei pasakyčiau, kad suma yra 59? Yra tik 10 galimų šios makrobūsenos mikrobūsenų, todėl jos entropija yra tik vienas simbolis. Kaip matote, skirtingos makrovalstybės turi skirtingą entropiją. Entropiją matuojame kaip simbolių, reikalingų mikrobūsenų skaičiui įrašyti, skaičių.
Kitaip tariant, entropija yra tai, kaip mes apibūdiname sistemą. Pavyzdžiui, jei dujas šiek tiek pašildysime, padidės jų dalelių greitis, todėl padidės mūsų nežinojimo apie šį greitį laipsnis, tai yra, padidės entropija. Arba, jei atitraukdami stūmoklį padidinsime dujų tūrį, padidės mūsų nežinojimas apie dalelių padėtį, taip pat padidės entropija.
Viena vertus, tai išplečia entropijos panaudojimo galimybes analizuojant labiausiai įvairūs reiškiniai, bet, kita vertus, reikalauja tam tikro papildomo susidarančių situacijų vertinimo. Pirma, Visata nėra įprastas ribotas objektas, ji yra pati begalybė laike ir erdvėje.
MAKSIMALUS DARBAS - termodinamikoje 1) darbas, atliktas iš termoizoliacinės medžiagos. Bet koks pranešimas, su kuriuo susiduriame informacijos teorijoje, yra informacijos apie kokią nors fizinę sistemą rinkinys. Akivaizdu, kad jei fizinės sistemos būsena būtų žinoma iš anksto, nebūtų prasmės perduoti pranešimą.
Akivaizdu, kad informacija, gauta apie sistemą, paprastai bus vertingesnė ir reikšmingesnė, tuo didesnis sistemos neapibrėžtumas prieš gaunant šią informaciją („a priori“). Norėdami atsakyti į šį klausimą, palyginkime dvi sistemas, kurių kiekviena turi tam tikrą neapibrėžtumą.
Tačiau apskritai taip nėra. Apsvarstykite, pavyzdžiui, techninį įrenginį, kuris gali būti dviejų būsenų: 1) veikiantis ir 2) sugedęs. Pabrėžiame, kad norint apibūdinti sistemos neapibrėžtumo laipsnį, visiškai nesvarbu, kokios reikšmės yra parašytos viršutinėje lentelės eilutėje; Svarbu tik šių verčių skaičius ir jų tikimybės. Entropijos sąvoka yra esminė informacijos teorijoje.
Šios informacijos kiekis vadinamas entropija. Tarkime, kad kai kurie pranešimai apima abėcėlės elementus, elementus ir pan. Dydis vadinamas pranešimo šaltinio entropija. 3. Entropija yra maksimali, jei visos pranešimo elementų būsenos yra vienodai tikėtinos. Informacijos teorijoje įrodyta, kad visada, t.y. tikimybinių ryšių buvimas sumažina pranešimo šaltinio entropiją.
Biliardo žaidimas prasideda tuo, kad kamuoliukai ant stalo yra išdėstyti tvarkingoje piramidėje. Tada pirmasis smūgis smogiamas lazda, kuri sulaužo piramidę. Kamuoliukai rieda per stalą keistomis trajektorijomis, ne kartą susiduria su stalo sienomis ir vienas su kitu, o galiausiai sustingsta naujoje vietoje. Kažkodėl nauja tvarka visada ne tokia tvarkinga. Kodėl? Galite bandyti be galo. Kamuoliukų padėtis ant stalo kaskart keisis, bet mes niekada nepasieksime tos pačios sutvarkytos piramidės, kuri buvo ant stalo prieš pirmąjį smūgį. Sistema spontaniškai pereina į mažiau tvarkingas būsenas. Niekada tvarkingiau. Kad sistema pereitų į tvarkingą būseną, būtinas išorinis įsikišimas. Vienas iš žaidėjų paima trikampį rėmą ir suformuoja formas nauja piramidė. Procesas reikalauja energijos investicijų. Jokiu būdu negalima priversti kamuoliukų spontaniškai išsirikiuoti į piramidę dėl susidūrimų vienas su kitu ir su sienomis.
Netvarkos didėjimo ant biliardo stalo procesas nekontroliuojamas (nors tam atsirasti reikia energijos), nes geras biliardo stalas yra specialiai pagamintas taip, kad kamuoliuko energija bet kuriame taške būtų vienoda. Tai, kas vyksta ant biliardo stalo, demonstruoja kitas puikus principas, pagal kurį organizuota mūsų Visata: maksimalios entropijos principas. Žinoma, didysis visatos principas neapsiriboja vien biliardo stalu. Taigi mes tai išsiaiškinsime.
Entropija yra sistemos sutrikimo matas. Kuo mažesnė tvarka sistemoje, tuo didesnė jos entropija. Turbūt prasminga kalbėti apie tai, kas laikoma tvarka, o kas – netvarka.
Tvarka gali būti suprantama kaip taisyklingas dalelių išsidėstymas, kai kartojasi atstumai ir kryptys, o iš kelių dalelių buvimo vietos galima nuspėti kitos vietą. Jei dalelės tolygiai susimaišo be jokio matomo išsidėstymo dėsnio, tai yra sutrikimas. Jei dalelės tvarkingai surenkamos vienoje erdvės srityje, tai yra tvarka. Jei jie visur išsibarstę, tai yra netvarka. Jei skirtingi mišinio komponentai yra skirtingose vietose, tai yra tvarka. Jei viskas sumaišoma, tai netvarka. Apskritai paklausk mamos ar žmonos – ji paaiškins.
Dujų entropija (beje, žodis „dujos“ yra graikiško „chaoso“ sugadinimas) yra didesnė nei skysčio. Skysčio entropija yra didesnė nei kietas. Paprastai tariant, temperatūros padidėjimas padidina sutrikimą. Iš visų materijos būsenų turės mažiausią entropiją kietas kristalas temperatūroje absoliutus nulis. Ši entropija laikoma nuliu.
IN įvairūs procesai entropijos pokyčiai. Jei kokiame nors procese energija nepasikeičia, procesas vyksta spontaniškai tik tuo atveju, jei dėl to padidėja sistemos entropija. (Kas nutinka, kai pasikeičia ir entropija, ir energija, aptarsime šiek tiek vėliau.) Štai kodėl po smūgio lazda kamuoliukai ant biliardo stalo pasislenka į mažiau tvarkingą padėtį. Entropija keičiasi įvairios sistemos galima apibendrinti kaip maksimalios entropijos principas:
Bet kuri sistema spontaniškai stengiasi užimti pačią netvarkingiausią būseną.
Labai dažnai tas pats suformuluojamas formoje entropijos nesumažėjimo principas:
Izoliuotos sistemos entropija negali mažėti.
Ši formuluotė sukėlė ir tebekelia daug ginčų Visatos šiluminės mirties tema: Visata pagal apibrėžimą yra izoliuota sistema(nes ji neturi aplinką, su kuria būtų galimas masės ar energijos mainai), todėl jo entropija palaipsniui didėja. Vadinasi, Visata ilgainiui pasieks visiškos vienalytės netvarkos būseną, kurioje negali egzistuoti nei vienas objektas, kažkaip besiskiriantis nuo aplinkos. Tema į aukščiausias laipsnisžavu, bet pakalbėkime apie tai kitą kartą.
Entropija apibrėžiama kaip vidutinė paties ansamblio informacijos vertė
Maksimalios entropijos metodas, panašus į maksimalios informacijos metodą, yra pagrįstas ieškant tarp visų galimų tikimybių skirstinių to, kuris turi maksimali entropija tipas (3.19). Taigi sprendinio neapibrėžtumui pašalinti naudojamas maksimalios entropijos kriterijus, o funkcinis (3.19) veikia kaip savotiškas vaizdo „kokybės matas“.
Tokio kokybės mato prasmę galima suprasti kreipiantis į tikimybių pasiskirstymo tankių įvertinimo problemą matematinė statistika. Tuo atveju garsios akimirkos atsitiktinis pasiskirstymasįvertis, gautas maksimaliai padidinus išraišką (3.19), yra mažiausiai pakreiptas iš visų galimų įverčių. Galima tikėtis, kad duos maksimumą (3,19) su apribojimais vaizdo formavimo procesui geras pažymys pasiskirstymo tankis. Pabandykime apsvarstyti įvaizdžio formavimo procesą ir išsiaiškinti fizinę reikšmę didžiausios entropijos kriterijus.
Tegul bendras šaltinio intensyvumas lygus, o intensyvumas iš taško sklinda iš Suskaičiuokime, kiek būdų iš spindulių gali susidaryti tam tikras objektas:
Dabar suraskime skirstinį, kuris susidarys daugiausiai atvejų
Pakeitę jį logaritmu (maksimaliai nepasikeis) ir naudodami Stirlingo formulę, gauname:
Norint išspręsti problemą, taip pat būtina atsižvelgti į formavimo lygčių apribojimus:
taip pat viso vaizdo intensyvumo apribojimas, t.y.
Išraiškos sudaro didžiausios entropijos metodo pagrindą. Fizinė maksimalios entropijos kriterijaus taikymo prasmė yra ieškoti tokio tikimybių skirstinio kanalo įėjime, kuris daugeliu atvejų sudaro tam tikrą išvesties pasiskirstymą, arba ieškoti patikimiausio šaltinio pasiskirstymo duotomis sąlygomis formavimas. Šia prasme maksimalios entropijos metodas gali būti laikomas metodu didžiausia tikimybė spindulinio vaizdo modeliui.
Panagrinėkime vieną iš labiausiai paplitusių maksimalios entropijos metodo rašymo formų. Kartu su vaizdo formavimu svarstysime lygiagretų triukšmo lauko formavimąsi:
Remdamiesi aukščiau pateiktais samprotavimais, nustatome, kad triukšmo laukas gali būti sukurtas tokiais būdais, kur
Norint išspręsti problemą, būtina maksimaliai padidinti sąnario tikimybė vaizdo ir triukšmo lauko formavimas
Paėmus šios išraiškos logaritmą, gaunama triukšmo ir vaizdo entropijų suma:
Atsižvelgdami į formavimo proceso apribojimus ir išlaikant spindulių skaičių (bendrą intensyvumą), gauname tokią optimizavimo problemą:
kur dydžiai ir yra optimizavimo uždavinio Lagranžo daugikliai. Norėdami išspręsti sistemą, randame dalines išvestines (3.25) ir prilyginame jas nuliui:
Pakeitę (3.26), (3.27) ir iš (3.26), (3.27) išraiškas į apribojimo lygtis, randame
Iš (3.28) formos lygčių nustatomi Lagranžo daugikliai, kurie naudojami įvesties paskirstymo funkcijai rasti:
Eksponentinis (3.29) užtikrina sprendinio pozityvumą. Pats entropijos funkcionalumas yra reikšmingai netiesinis, o tai lemia įdomų (3.29) lygčių požymį: jose gali būti erdvinių dažnių, kurių nebuvo iškraipyto vaizdo spektre. Tai leidžia kalbėti apie „super-raiškos“ galimybę, t.y. riboto pralaidumo generavimo sistemos sunaikintos informacijos atkūrimą (5 skyrius skirtas super-raiškos poveikiui ir jos galimybių įvertinimui). Taip pat atkreipkite dėmesį, kad sprendiniai, gauti remiantis (3.29), turi padidinta kokybė palyginti su tiesiniai algoritmai atsigavimą, tačiau reikia sprendimų sudėtinga sistema netiesines lygtis.
Yra alternatyva entropijos išraiškai formoje (3.19), kurią Burgas pasiūlė galios spektrams įvertinti. Ši entropijos forma turi tokią formą:
Rekonstrukcijos metodas, pagrįstas išraiška (3.30), taip pat gali būti naudojamas vaizdo apdorojimo praktikoje. Praneškite mums apie triukšmingo spektro pavyzdžius
kur atitinkamai yra spektrų pavyzdžiai. Nustatykime neatitikimą tarp tikrojo ir triukšmingo stebimo vaizdo spektro pavyzdžių:
Tada, norėdami rasti sprendimą, turite maksimaliai padidinti paprastesnę funkciją:
Reikėtų pažymėti, kad į pastaruoju metu pasirodė didelis skaičius algoritmai, pagrįsti ir (3.19), ir (3.30), naudojant įvairius apribojimus, atsirandančius dėl kiekvieno iš jų formulavimo konkreti užduotis. Tiesa, dviejų entropijos normų buvimas kelia tam tikrų abejonių, pirma, dėl to, kad neaišku, kurią iš jų naudoti praktikoje, ir, antra, dėl nepakankamai aiškios atkūrimo problemos formuluotės.
Yra ir kitas įdomi savybė algoritmai, pagrįsti maksimalios entropijos paieška. Atvejui pereikime prie (3.27)-(3.29) išraiškų ideali sistema formavimas, bet esant priediniam triukšmui Nesunku pastebėti, kad naudojant maksimalaus entropijos algoritmą šiuo atveju reikalaujama izoliuoti vaizdą nuo triukšmo be jokių a priori triukšmo ir signalo charakteristikų. Tačiau kruopštesnė analizė rodo, kad sprendimas naudojant (3.28) formos lygtis duoda paradoksalų rezultatą: signalas ir triukšmas yra susiję. tiesinė priklausomybė. Iš tikrųjų signalo įvertinimas čia yra lygus
ir triukšmo įvertinimas bus toks:
IN praktiniai pritaikymai Siekiant išvengti šio efekto, triukšmo entropijos išraiška imama su tam tikru svorio koeficientu ir vietoj (3.24) atsižvelgiama į šią funkciją:
Tačiau ši technika palieka neaiškią išvestinių transformacijų fizinę prasmę.
Kitas maksimalios entropijos metodo trūkumas yra tas geriausi rezultatai jos pagalba jie gaunami rekonstruojant objektus, susidedančius iš atskirų impulsų vienalyčiame fone, o bandymai pritaikyti metodą erdviškai išplėstiems objektams sukelia svyravimų atsiradimą.
Pateiktus rezultatus apie maksimalios entropijos ir maksimalios informacijos metodus galima derinti
į vieną schemą, pagrįstą pasiskirstymo tankio įvertinimo, naudojant didžiausios tikimybės metodą, algoritmų konstravimą. Taigi nagrinėjami algoritmai gali būti įtraukti į statistinio reguliarumo metodų grupę, aprašytą § 2.4. Vienintelis skirtumas yra tas, kad šie algoritmai yra pagrįsti kitokiu statistiniu modeliu – paties vaizdo, kaip tikimybių tankio, vaizdavimu. Toks modelis iš karto veda prie nagrinėjamų funkcijų netiesiškumo. Tačiau anksčiau pastebėti trūkumai verčia ieškoti algoritmų, kurie, išsaugant informacinių-teorinių atkūrimo metodų privalumus (neribota dažnių juosta, sprendimo neneigiamumas ir kt.), leidžia atkurti platesnę vaizdų klasę.
