Sąlyginė entropija yra priklausomų sistemų sąjunga. Sąlyginė entropija

Kameros kalibravimo užduotys ir metodai

Kameros kalibravimas susideda iš kameros vidinių orientacijos elementų verčių nustatymo ir sisteminių optinės sistemos klaidų, kurias daugiausia sukelia objektyvo iškraipymas.

Vidinės orientacijos elementai yra židinio nuotolis (f) ir pagrindinio taško koordinates ( x o, y o).

Kameroms su atskaitos ženklais taip pat nustatomos jų koordinatės.

Sisteminės klaidos optinė sistema nustato skirtumus tarp tikrosios fizinę sistemą nuo jos matematinis modelis. Objektyvo iškraipymas turi įtakos centrinio dizaino geometrijai, todėl nesilaikoma kolineariškumo principo (pažeidžiama centrinė projekcija vaizdai)

Yra du objektyvo iškraipymo tipai: radialinis ir tangentinis. Radialinis iškraipymas yra daug didesnis nei tangentinis iškraipymas, todėl paprastai nustatomas tik radialinis iškraipymas. Praktiškai fotoaparatai, pagaminti specialiai fotogrammetriniams matavimams, turi labai mažai iškraipytus objektyvus, todėl kalibravimo proceso metu pakanka nustatyti tik pagrindinio taško židinio nuotolį ir koordinates. Šiuolaikiniams skaitmeniniams fotoaparatams pagrindinė problema yra žemos kokybės objektyvo gamyba, susijusi su dideliu iškraipymu (gali siekti 100 µm ar daugiau) ir necentravimo atskiri elementai objektyvas, dėl kurio pagrindinis optinis pluoštas nėra statmenas vaizdo plokštumai. Todėl kalibruojant tokias kameras patartina nustatyti ne tik radialinį iškraipymą, bet ir optinės sistemos decentraciją (necentruotą arba tangentinį objektyvo iškraipymą).

Galima apibūdinti objektyvo iškraipymą skirtingos lygtys, Pavyzdžiui:

Kur d x , d y– vaizdo taškų koordinačių korekcijos dėl objektyvo iškraipymo; x,y– vaizdo taškų koordinatės; k 1, k 2, k 3– radialinio iškraipymo koeficientai; 1 p., 2 p– necentruoto objektyvo iškraipymo koeficientai; r 0 – spindulio vektorius, atitinkantis nulinį iškraipymą; r– atstumas nuo pagrindinio taško x o, y o:

Yra trys kamerų kalibravimo būdai:

· Kalibravimas naudojant kelių kalibratorių kalibratorių

· Kalibravimas naudojant bandomąjį objektą.

· Savaiminis kalibravimas.

Kalibravimas naudojant kelių kalibratorių atliekamas specialiu įrenginiu, leidžiančiu nustatyti kameros vidinės orientacijos elementus. laboratorinėmis sąlygomis. Šis metodas dabar retai naudojamas, nes reikia brangios įrangos.

Kalibravimas naudojant bandomąjį objektą yra pagrįstas kalibravimo parametrų skaičiavimu, remiantis taškų koordinačių matavimo rezultatais bandomojo objekto vaizduose. Bandomasis objektas yra specialus objektas, turintis daug taškų su žinomomis koordinatėmis.

Savaiminis kalibravimas yra fotoaparato kalibravimo metodas, leidžiantis nustatyti kalibravimo parametrus nuotraukų trianguliacijos proceso metu, atliekamo realaus gyvenimo vaizdams.

Leiskite mums išsamiau apsvarstyti du paskutinius metodus, kurie yra dažniausiai naudojami.

Kamerų kalibravimas naudojant erdvinį bandymo objektą

Šis metodas pagrįstas bandomojo objekto fotografavimu. 8.1 paveiksle parodytas pavyzdys erdvinės figūros, kurioje pažymėti taškai, forma. Šių taškų koordinatės reikiamu tikslumu nustatomos vienu iš geodezinių metodų.

8.1 pav

Nufotografavus šį objektą tiriama kamera, rezekcija išsprendžiama remiantis išplėstinėmis kolineariškumo lygtimis:

(8.3)

Kur dx, dy– vaizdo taškų koordinačių pataisos dėl objektyvo iškraipymo, apskaičiuotos taikant (8.1) arba (8.2). Nežinomieji lygtyse (8.3) yra vidinio elementai f,x o,y o, ir išorinė orientacija X S ,Y S ,Z S , w,a,k ir iškraipymo koeficientai k 1 , k 2 , k 3, p 1 , p 2. Norint jas nustatyti, šios lygtys sudaromos naudojant išmatuotas vaizdo taškų koordinates x,y ir koordinates X, Y, Z atitinkami bandomojo objekto taškai Uždavinys sprendžiamas naudojant metodą mažiausių kvadratų, nuoseklių aproksimacijų metodu.

Kameroms, kurios konvertuoja vaizdo signalą į skaitmenine forma, rekomenduojama prie (8.3) lygčių pridėti koeficientus afininė transformacija a 1 Ir a 2, tai yra:

(8.4)

Norėdami teisingai ir patikimai išspręsti fotoaparato kalibravimo problemą, remiantis (8.3) ir (8.4) lygtimis puiki vertė turi bandomąjį objektą (matmenys, taškų skaičius ir jų koordinačių tikslumas) ir jo šaudymo būdą. Fotografuoti reikia taip, kad objekto taškai apimtų visą vaizdo plotą (8.5 pav.)

Bandomojo objekto matmenys priklauso nuo kalibruojamo fotoaparato tipo, t.y. priklauso nuo optimalių atstumų Y S fotografuoti, kuriems šis fotoaparatas skirtas. Jei šis atstumas ir fotoaparato židinio nuotolis yra apytiksliai žinomi, tada bandomojo objekto matmenis galima apskaičiuoti pagal Fig. 8.5. Bandymui galite naudoti pastato fasadą, ant kurio atramos taškai pažymėti dideliu tankiu. Kalbant apie taškų pasiskirstymą, jie turėtų būti tolygiai išdėstyti visame plokštumos plote, lygiagrečiai plokštumai vaizdas (kad visas vaizdas būtų padengtas taškais, kad būtų galima patikimai nustatyti objektyvo iškraipymo koeficientus) ir statmena kryptis(gylyje), kad nustatytumėte fotoaparato židinio nuotolį.

Fig. 8.6 paveiksle pateikti bandomųjų objektų pavyzdžiai.

Jei bandomojo objekto atskaitos taškai yra toje pačioje plokštumoje, tai dėl židinio nuotolio koreliacijos f su atstumu Y S sprendžiant rezekciją sukelia tirpalo neapibrėžtumą. Šią aplinkybę iliustruoja pav. 8.7.

8.8 pav

Akivaizdu, kad kuo didesnis objekto trečiasis matmuo ( h), ypač patikimas sprendimas. Iš eksperimentiniai tyrimaižinoma, kad santykiai h/Y S neturėtų būti mažesnis nei 1/5.

Bandomojo objekto taškų, kuriais jie turėtų būti nustatyti, koordinačių tikslumą galima apskaičiuoti naudojant paprastą formulę:

Kur d x – tikslumas, kuriuo turi būti nustatyti kalibravimo parametrai. Tarkime, kad d x=0,001 mm, fotoaparato židinio nuotolis yra maždaug lygus f=100mm, šaudoma iš toli Y S= 30 m d X= 0,1 mm

Sąlyginė entropija

Entropija (informacinė)- informacinio chaoso matas, bet kurio pirminės abėcėlės simbolio atsiradimo neapibrėžtumas. Nesant informacijos praradimo, jis skaitine prasme yra lygus informacijos kiekiui, tenkančiam vienam perduodamo pranešimo simboliui.

Pavyzdžiui, raidžių sekoje, kurios sudaro sakinį rusų kalba, skirtingos raidės pasirodo skirtingais dažniais, todėl kai kurių raidžių atsiradimo neapibrėžtis yra mažesnė nei kitų. Jei atsižvelgsime į kai kuriuos raidžių derinius (šiuo atveju mes kalbame apie entropiją n-osios eilės, žr.) yra labai reti, tada neapibrėžtis dar labiau sumažėja.

Informacijos entropijos sampratai iliustruoti taip pat galima pasitelkti pavyzdį iš termodinaminės entropijos srities, vadinamo Maksvelo demonu. Informacijos ir entropijos sąvokos turi gilius ryšius viena su kita, tačiau nepaisant to, teorijų vystymasis statistinė mechanika o informacijos teorijai prireikė daug metų, kad jos atitiktų viena kitą.

Formalūs apibrėžimai

Informacinė entropija nepriklausomiems atsitiktiniams įvykiams x Su n galimos sąlygos(nuo 1 iki n) apskaičiuojamas pagal formulę:

Šis kiekis taip pat vadinamas vidutinė pranešimų entropija. Kiekis vadinamas privati ​​entropija, charakterizuoja tik i-e valstybė.

Taigi, įvykio entropija x yra suma su priešingas ženklas visi darbai santykiniai dažniaiįvykio atsiradimas i, padaugintas iš jų pačių dvejetainių logaritmų (2 bazė pasirinkta tik dėl patogumo dirbant su dvejetaine forma pateikta informacija). Šis diskrečiųjų atsitiktinių įvykių apibrėžimas gali būti išplėstas iki tikimybių pasiskirstymo funkcijos.

Apskritai b-arinė entropija(Kur b lygus 2, 3, ...) šaltinis su originalia abėcėle ir diskretiškas paskirstymas tikimybės kur p i yra tikimybė a i (p i = p(a i) ) nustatoma pagal formulę:

Šenono entropijos apibrėžimas yra susijęs su termodinaminės entropijos samprata. Boltzmannas ir Gibbsas padarė puikus darbas Autorius statistinė termodinamika, kuris prisidėjo prie žodžio „entropija“ priėmimo m informacijos teorija. Yra ryšys tarp termodinaminės ir informacinės entropijos. Pavyzdžiui, Maksvelo demonas taip pat kontrastuoja termodinaminė entropija informacijos, o gauti bet kokį informacijos kiekį prilygsta prarastai entropijai.

Alternatyvus apibrėžimas

Kitas būdas apibrėžti entropijos funkciją yra H yra to įrodymas H yra vienareikšmiškai nustatytas (kaip minėta anksčiau) tada ir tik tada H atitinka sąlygas:

Savybės

Svarbu atsiminti, kad entropija yra dydis, apibrėžtas kontekste tikimybinis modelis duomenų šaltiniui. Pavyzdžiui, monetos metimo entropija yra − 2(0,5log 2 0,5) = 1 bitas vienam metimui (darant prielaidą, kad tai nepriklausoma). Šaltinis, generuojantis eilutę, susidedančią tik iš raidžių „A“, neturi nulinės entropijos: . Taigi, pavyzdžiui, galima eksperimentiškai nustatyti tą entropiją Angliškas tekstas yra lygus 1,5 bito vienam simboliui, kuris, žinoma, skirsis įvairiems tekstams. Duomenų šaltinio entropijos laipsnis reiškia vidutinį bitų skaičių viename duomenų elemente, reikalingą jam užšifruoti neprarandant informacijos su optimalia koduote.

1. Kai kurie duomenų bitai gali nenešti informacijos. Pavyzdžiui, duomenų struktūrose dažnai saugoma perteklinė informacija arba turi identiškas dalis, neatsižvelgiant į duomenų struktūroje esančią informaciją.
2. Entropijos dydis ne visada išreiškiamas sveikuoju bitų skaičiumi.

Matematinės savybės

Efektyvumas

Praktiškai sutinkama originali abėcėlė turi tikimybių pasiskirstymą, kuris toli gražu nėra optimalus. Jei pradinė abėcėlė turėjo n simbolių, tada jį galima palyginti su „optimizuota abėcėle“, kurios tikimybių pasiskirstymas yra vienodas. Originalios ir optimizuotos abėcėlės entropijos santykis yra pradinės abėcėlės efektyvumas, kuris gali būti išreikštas procentais.

Iš to išplaukia, kad originalios abėcėlės efektyvumas su n simboliai gali būti apibrėžti tiesiog kaip lygūs jo n-arinė entropija.

Entropija riboja didžiausią įmanomą be nuostolių (arba beveik be nuostolių) suspaudimą, kurį galima realizuoti naudojant teoriškai tipišką rinkinį arba praktiškai Huffmano kodavimą, Lempel-Ziv-Welch kodavimą arba aritmetinį kodavimą.

Variacijos ir apibendrinimai

Sąlyginė entropija

Jei abėcėlės simbolių seka nėra nepriklausoma (pavyzdžiui, in prancūzų po raidės „q“ beveik visada yra „u“, o po žodžio „išplėstinė“. sovietiniai laikraščiai paprastai po to yra žodis „gamyba“ arba „darbas“), informacijos kiekis, kurį perneša tokių simbolių seka (taigi ir entropija), yra akivaizdžiai mažesnis. Norint atsižvelgti į tokius faktus, naudojama sąlyginė entropija.

Pirmosios eilės sąlyginė entropija (panaši į pirmosios eilės Markovo modelį) yra abėcėlės entropija, kai žinomos tikimybės, kad viena raidė pasirodys po kitos (ty dviejų raidžių derinių tikimybė):

Kur i yra būsena, priklausanti nuo ankstesnio simbolio, ir p i (j) – tokia tikimybė j, su sąlyga i buvo ankstesnis veikėjas.

Taigi, rusų kalbai be raidės "".

Informacijos praradimai perduodant duomenis triukšmingu kanalu yra visiškai aprašomi dalinėmis ir bendromis sąlyginėmis entropijomis. Tam tikslui vadinamieji kanalų matricos. Taigi, norėdami apibūdinti šaltinio nuostolius (tai yra, išsiųstas signalas yra žinomas), apsvarstykite sąlyginę tikimybę, kad imtuvas gaus simbolį. b j su sąlyga, kad veikėjas buvo išsiųstas a i. Šiuo atveju kanalo matrica yra tokia:

Akivaizdu, kad išilgai įstrižainės esančios tikimybės apibūdina teisingo priėmimo tikimybę, o visų stulpelio elementų suma duos tikimybę, kad atitinkamas simbolis pasirodys imtuvo pusėje - p(b j) . Nuostoliai vienam perduodamam signalui a i, aprašomi naudojant dalinę sąlyginę entropiją:

Visų signalų perdavimo nuostoliams apskaičiuoti naudojama bendroji sąlyginė entropija:

Tai reiškia, kad entropija šaltinio pusėje yra entropija imtuvo pusėje: ji nurodoma ne visur (sumavus eilutės elementus; p(a i) , o įstrižainės reiškia tikimybę, kad buvo išsiųstas tikslus gautas simbolis, ty teisingo perdavimo tikimybę).

Abipusė entropija

Abipusė entropija arba sąjungos entropija, skirtas tarpusavyje sujungtų sistemų entropijai (statistiškai priklausomų pranešimų bendro atsiradimo entropijai) apskaičiuoti ir žymimas H(AB), kur A, kaip visada, apibūdina siųstuvą ir B- imtuvas.

Ryšys tarp perduodamų ir priimamų signalų apibūdinamas tikimybėmis bendri renginiai p(a i b j) , ir už pilnas aprašymas kanalo charakteristikos, reikalinga tik viena matrica:

Daugiau bendras atvejis, kai aprašomas ne kanalas, o tiesiog sąveikaujančios sistemos, matrica nebūtinai turi būti kvadratinė. Akivaizdu, kad visų stulpelio elementų su skaičiumi suma j duos p(b j) , eilutės numerio suma i Yra p(a i) , o visų matricos elementų suma lygi 1. Bendra tikimybė p(a i b j) įvykius a i Ir b j apskaičiuojamas kaip pradinės ir sąlyginės tikimybės sandauga,

Sąlyginės tikimybės sudaromos naudojant Bayes formulę. Taigi, yra visi šaltinio ir imtuvo entropijų skaičiavimo duomenys:

Abipusė entropija apskaičiuojama nuosekliai sudedant eilutes (ar stulpelius) visas matricos tikimybes, padaugintas iš jų logaritmo:

Matavimo vienetas yra bitas/du simboliai, tai paaiškinama tuo, kad abipusė entropija apibūdina neapibrėžtį vienai simbolių porai – siunčiamai ir gaunamai. Paprastomis transformacijomis taip pat gauname

Abipusė entropija turi savybę informacijos išsamumas- iš jo galite gauti visus svarstomus kiekius.

Atsižvelgdami į Šenono formulę (3.3), skirtą atsitiktinio dydžio entropijai ir informacijos kiekiui apskaičiuoti, darėme prielaidą, kad informacija apie atsitiktinį kintamąjį (X) patenka tiesiai į stebėtoją. Tačiau, kaip taisyklė, informaciją gauname ne apie mus dominantį atsitiktinį kintamąjį (X), o apie kokį nors kitą (Y), kuris stochastiškai susijęs su X. Toks atsitiktinių dydžių ryšys skiriasi nuo funkcinio ryšio, kuriame kiekviena vienos reikšmės reikšmė atitinka vieną, tiksliai apibrėžtą kitos reikšmės reikšmę. Stochastinis (tikimybinis) ryšys tarp dviejų atsitiktinių dydžių X ir Y reiškia, kad vieno iš jų pokytis turi įtakos kito reikšmei, tačiau taip, kad žinant X reikšmę neįmanoma tiksliai nurodyti reikšmės, kurią Y imsis Galite nurodyti tik vertės Y kitimo tendenciją.

Tegul B – atsitiktinis įvykis; p(B) – jo atsiradimo tikimybė; Pažymėkime X atsitiktinį kintamąjį, kuris užima N skirtingos reikšmės(x 1 , x 2 , … x N ), o per A k įvykis, susidedantis iš to, kad atsitiktinis kintamasis X įims reikšmę x k:

A k = (X = xk), k = 1,2, …N;

Įvykio A k tikimybę žymime p(A k). Kai kurių įvykių tikimybė gali keistis priklausomai nuo to, ar įvyksta koks nors kitas įvykis, ar ne. Įvykio A k tikimybė p B (A k), apskaičiuota darant prielaidą, kad įvyko įvykis B, vadinama sąlygine įvykio A k tikimybe, šiuo atveju:

Įvykiai A k ir B vadinami nepriklausomais, jei įvykio A k atsiradimo tikimybė nepriklauso nuo to, ar įvykis B įvyko, ar ne Tai reiškia, kad sąlyginė įvykio p B (A k) tikimybė yra lygi „įprastajai“. tikimybė p(A k).

Apibrėžimas. Atsitiktinio dydžio X sąlyginė entropija esant B sąlygai yra dydis

(4.2)

Skirtumas nuo Šenono formulės (3.3) yra tas, kad vietoj tikimybių p(A k), naudojamos sąlyginės tikimybės p B (A k).

Tegu dabar Y yra kitas atsitiktinis kintamasis, turintis reikšmes (y 1 , y 2 , ... y M ). B j pažymėkime įvykį, kai atsitiktinis kintamasis Y įgyja y j reikšmę:

B j = ( Y = y j ), j = 1, 2,… M.

Įvykio B j tikimybę žymime p(B j).

Apibrėžimas. Atsitiktinio dydžio X sąlyginė entropija at nustatyta vertė Atsitiktinis dydis Y yra dydis H Y (X)

(4.3)

Transformuokime (4.3) formulę:

Formulė (4.3) yra tokia:

(4.4)

Apskaičiuokime informacijos kiekį apie atsitiktinį dydį X, gautą stebint atsitiktinį dydį Y. Šis informacijos kiekis I(X,Y) lygus atsitiktinio dydžio X entropijos sumažėjimui stebint atsitiktinį dydį Y:

Pakeiskime H(X) ir H Y (X) išraiškas į (15):

Pirmoje sumoje pakeičiame p(A k)=p(A k B 1)+ p(A k B 2)+ p(A k B 3)…+ p(A k B M). Ši lygybė tikrai vyksta, nes įvykiai A k B 1 , A k B 2 , … A k B M yra nesuderinami poromis ir vienas iš jų įvyks, jei įvyks A k. Ir atvirkščiai, jei atsiranda vienas iš B j, tada atsiranda ir A k. Tęsdami transformacijas gauname:

Taigi, mes turime formulę, kaip apskaičiuoti informacijos kiekį apie atsitiktinį kintamąjį X stebint kitą atsitiktinį kintamąjį Y:

(4.6)

Jei atsitiktiniai dydžiai (ar įvykiai) yra nepriklausomi, tai jiems galioja santykis p(A k B j) = p(A k)p(B j) - dviejų įvykių bendro pasireiškimo tikimybė yra lygi sandaugai šių įvykių tikimybės.

Kalbant apie reikšmę I(X,Y), šie teiginiai yra teisingi.

Dėl nepriklausomų atsitiktinių dydžių gauname

Tai reiškia, kad atsitiktinio dydžio Y stebėjimas nesuteiks jokios naudos gaunant informaciją apie atsitiktinį kintamąjį X.

Kitais atvejais I(X,Y) >0 ir galioja ši nelygybė:

Lygybė pasiekiama, jei yra funkcinis ryšys Y=F(X). Šiuo atveju stebint Y gaunama visa informacija apie X. Jei Y=X, tai I(X,X) = H(X).

Dydis I(X,Y) yra simetriškas: I(X,Y) = I(Y,X). Tai reiškia, kad atsitiktinio dydžio Y stebėjimas suteikia tiek pat informacijos apie atsitiktinį dydį X, kiek ir atsitiktinio dydžio X stebėjimas apie atsitiktinį dydį Y. Jei nagrinėsime du atsitiktinius dydžius, kurie yra stochastinėje priklausomybėje, tada informacinės teorijos pagalba neįmanoma nustatyti, kuri iš jų yra priežastis, o kuri pasekmė.

Kaip jau minėta, norint efektyviai koduoti informaciją, būtina atsižvelgti į statistinę pranešimų priklausomybę. Mūsų artimiausias tikslas yra išmokti apskaičiuoti priklausomų pranešimų sekų informacines charakteristikas. Pradėkime nuo dviejų pranešimų.

Panagrinėkime ansamblius X= {x i) Ir Y={y j) ir jų darbus XY={(x i,y j), P(x i,y j)). Dėl bet kokių fiksuotų y jÎ Y galima pastatyti sąlyginis paskirstymas tikimybės P(x i/y j) filmavimo aikštelėje X ir visiems x iÎ X apskaičiuokite savo informaciją

kuris vadinamas sąlyginė nuosava informacijažinutes x i fiksuotame y j.

Anksčiau mes vadinome ansamblio entropija X vidutinė pranešimo informacija x iÎ X. Panašiai apskaičiuojant sąlyginės informacijos vidurkį aš(x i/y j)Pagal x iÎ X, mes gauname vertę

,

vadinama sąlygine entropija X fiksuotame y jÎ Y. Atkreipkite dėmesį, kad į šis apibrėžimas yra neaiškumų kada P(x i/y j)=0. Reikėtų pažymėti, kad formos išraiška zžurnalas z linkęs į nulį ties z® 0 ir šiuo pagrindu skaičiuojame raides atitinkančius entropijos terminus x i su tikimybe P(x i/y j)=0, lygus nuliui.

Naujai įvesta entropija H(X/y j) yra atsitiktinis dydis, nes jis priklauso nuo atsitiktinio dydžio y j. Norint gauti neatsitiktinę informaciją, būdingą tikimybinių ansamblių porai, būtina atlikti visų verčių vidurkį. y j . Didumas

paskambino sąlyginė entropija ansamblis X su fiksuotu ansambliu Y. Pažymėkime keletą sąlyginės entropijos savybių.

2. , o lygybė atsiranda tada ir tik tada, kai ansambliai X Ir Y nepriklausomas.

5. Be to, lygybė atsiranda tada ir tik tada, kai ansambliai X Ir Y sąlyginai nepriklausomas visiems zО Z.

diskutuokime" fizinę reikšmę» suformuluotos sąlyginės entropijos savybės. 2 savybė teigia, kad sąlyginė ansamblio entropija neviršija besąlyginės entropijos. 5 savybė sustiprina šį teiginį. Iš to išplaukia, kad sąlyginė entropija nedidėja didėjant sąlygų skaičiui. Abu šie faktai nestebina, jie atspindi tai, kad papildomos informacijos apie ansamblį X, yra kitų ansamblių pranešimuose, vidutiniškai, sumažina ansamblio informacijos turinį (neapibrėžtumą). X. pastaba " vidutiniškai"čia labai svarbu, nes nelygybė H( X/y j) ≤ H( X), paprastai kalbant, nėra tiesa.

Savybės 1–5 reiškia nelygybę

, (11.4)

kurioje lygybė galima tik esant bendram ansamblių savarankiškumui X 1 , …, Xn.

Prisiminkite, kad entropijos apskaičiavimas yra šaltinio raidžių perdavimo arba saugojimo išlaidų apskaičiavimas. Sąlyginės entropijos savybės rodo, kad perduodant raidę Xn+ 1 turėtų naudoti tai, kad ankstesnės raidės X 1 , …, Xn jau žinomi priimančiojoje pusėje. Vietoj to tai leis H(Xn+1) išleisk mažiau H(Xn +1 /X 1 ,…,Xn) bitai. Tuo pačiu metu nelygybė (11.4) rodo kitokį požiūrį į ekonominį kodavimą. Iš šios nelygybės išplaukia, kad prieš kodavimą raidės turi būti sujungtos į blokus ir šie blokai turėtų būti laikomi naujo „išplėsto“ šaltinio raidėmis. Išlaidos bus mažesnės nei naudojant nepriklausomą raidžių kodavimą. Kuris iš dviejų būdų yra efektyvesnis?

Žemiau pateiksime tikslesnį šių dviejų požiūrių kiekybinį aprašymą, tačiau prieš tai turime prisiminti kai kuriuos apibrėžimus iš tikimybių teorijos.

Tolesniam pristatymui mums reikės žinomos informacijos iš tikimybių teorijos.

1) Atsitiktinių įvykių ansamblio tikimybių savybės A Ir IN:

P(A,B)=P(A)*P(B/A); -> P(B/A)=P(A,B)/P(B);

P(A,B)=P(B)*P(B/A); -> P(A/B)=P(A,B)/P(A);

P(A/B)=P(A)*P(B/A)/P(B);

P(B/A)=P(B)*P(A/B)/P(A); A Ir IN Jeigu

tada yra nepriklausomi

P(A/B)=P(A); P(B/A)=P(B):

P(A,B)=P(A)*P(B);

Dar kartą Šenono entropijos apibrėžimas atskirų pranešimų šaltiniui:

Jo savybės: ;

H > 0mN;

kirvis = log N Su nepriklausomais šaltiniais;

H(A,B)=H(A)+H(B)

SĄLYGINĖ ENTROPIJA Jei sistemos elementų būsenos nepriklauso viena nuo kitos arba vienos sistemos būsena nepriklauso nuo kitos sistemos būsenos, tai neapibrėžtumas, kad kuris nors sistemos elementas (ar kuri nors sistema) bus viename iš sistemos elementų. galimas būsenas visiškai nulemtų atskirų sistemos elementų tikimybinės charakteristikos . Šiuo atveju konkreti suma

informacija apie sistemos elemento būseną arba pranešimo simbolį vadinama vidutine entropija, o ją skaičiuojant naudojama išraiška Skaičiuojant vidutinį informacijos kiekį vienam pranešimo simboliui, atsižvelgiama į tarpusavio priklausomybę.

sąlyginės kai kurių įvykių atsiradimo tikimybės, palyginti su kitais, o gauta entropija vadinama sąlygine entropija b 1 , a 2 - b 2 Panagrinėkime pranešimų perdavimą iš atsitiktinių simbolių šaltinio A informacijos perdavimo kanalu. Šiuo atveju daroma prielaida, kad naudojant patikimą perdavimą, kai perduodamas simbolis a 1, gauname b 1 ir tt Tokiu atveju kanalui su trukdžiais perdavimas iškraipomas, o kai gaunamas simbolis a 1 galime kalbėti tik apie simbolio retransliavimo tikimybę a 2 , a 3 . Gali būti, kad simboliai buvo perduoti

ir tt Iškraipymai aprašomi matrica sąlyginės tikimybės P(A/ B)={ p(a i / b i }.

kanalas

Panagrinėkime signalų perdavimo kanalu su triukšmu procesą ir pasinaudokime juo, kad suprastume sąlyginės entropijos skaičiavimo mechanizmą.

a Jei pranešimo šaltinis sukuria simbolius l 2 , A i , ..., a n

..., A

atitinkamai su tikimybėmis 1 p(a 2 ), p (a i ) ... ..., p (a n ),

), ..., p (a

b 1 o perdavimo kanalo išvestyje gauname simbolius 2 ,b i , ..., b n

..., b

atitinkamai su tikimybėmisb 1 p(b 2 ), p ( i ), ..., p (gb n ),

, ..., p ( tada sąlyginės entropijos samprataa i ) H (B/ a i , siunčiant išreiškia netikrumą, ką b i mes gausime H., koncepcija i ) (A/b b i neapibrėžtumas, kuris lieka gavus a i kas tiksliai buvo išsiųsta b j . Tai grafiškai pavaizduota aukščiau esančiame paveikslėlyje. Jei ryšio kanale yra trikdžių, bet kuris iš signalų gali būti priimtas su skirtingu tikimybės laipsniu b j ir, atvirkščiai, gautas signalas a i . Jei ryšio kanale nėra trukdžių, siunčiamas simbolis visada yra A 1 atitinka priimtą charakterį b 1 , A 2 -b 2 ,..., A n -b n .

Šiuo atveju pranešimo šaltinio H(A) entropija yra lygi pranešimo gavėjo H(B) entropijai.. Jei ryšio kanale yra trukdžių, jie sunaikina arba iškraipo dalį perduodamos informacijos.

Informacijos praradimai yra visiškai aprašomi naudojant privačią ir bendrąją sąlyginę entropiją. Dalinę ir bendrąją sąlyginę entropiją patogu apskaičiuoti naudojant kanalų matricas. Terminas „kanalo matrica“ reiškia: matricą, kuri statistiškai apibūdina šis kanalas ryšys, naudojamas trumpumui. Jei ryšio kanalas aprašomas iš pranešimo šaltinio pusės (t.y. siunčiamas signalas žinomas), tada tikimybė, kad perduodant signalą a i per ryšio kanalą su trukdžiais gausime signalą b j žymima kaip sąlyginė tikimybė p(b j /ai). o kanalo matrica turi formą

Tikimybės, esančios išilgai įstrižainės (paryškintu šriftu), nustato teisingo priėmimo tikimybę, likusios - klaidingos. Skaitmenų, užpildančių kanalo matricos stulpelius, reikšmės paprastai mažėja didėjant atstumui nuo pagrindinės įstrižainės, o visiškai nesant trukdžių, visi skaitmenys, esantys pagrindinėje įstrižainėje, yra lygūs nuliui.

Simbolio perdavimas a i iš pranešimo šaltinio pusės tam tikrame ryšio kanale apibūdinamas formos sąlyginių tikimybių pasiskirstymu p(b j /a i ), tikimybių suma visada turi būti lygi vienetui. Pavyzdžiui, dėl signalo A 1

Informacijos nuostoliai vienai daliai signalo a i aprašomi naudojant dalinę sąlyginę entropiją. Pavyzdžiui, dėl signalo a 1

Sumavimas atliekamas pagal j, nes i- valstybė (in šiuo atveju pirma) išlieka pastovus.

Transmisijos praradimas visi signalai per tam tikrą ryšio kanalą aprašomi naudojant bendrąją sąlyginę entropiją. Norėdami jį apskaičiuoti, turėtumėte susumuoti visas dalines sąlygines entropijas, t. y. atlikti dvigubą sumavimą i ir pagal j.

Esant nelygiai pranešimo šaltinio simbolių atsiradimo tikimybei, reikia atsižvelgti į kiekvieno simbolio atsiradimo tikimybę, padauginus iš jos atitinkamą dalinę sąlyginę entropiją. Šiuo atveju visa sąlyginė entropija

Jeigu panagrinėtume situaciją iš šalies žinutės gavėjas(tai yra kai žinomas gautas signalas), tada gavus simbolį b j daroma prielaida, kad buvo išsiųstas vienas iš simbolių a 1 , a 2 , …, a i ,…, a m. Šiuo atveju kanalo matrica yra tokia:

Šiuo atveju sąlyginių tikimybių sumos turi būti lygios vienai ne kanalo matricos eilutėse, o stulpeliuose

Dalinė sąlyginė entropija

Ir visa sąlyginė entropija

Suminė sąlyginė sistemos entropija B, palyginti su sistema A, apibūdina informacijos kiekį, esantį bet kuriame pranešimo šaltinio simbolyje, per kurį atvaizduojame tiriamų sistemų elementų būsenas.

Bendroji sąlyginė entropija nustatoma apskaičiuojant visų simbolių, ty visų būsenų, vidurkį. A i atsižvelgiant į kiekvieno iš jų atsiradimo tikimybę. Jis lygus šaltinio simbolių atsiradimo tikimybių ir neapibrėžtumo sandaugų sumai, kuri lieka adresatui gavus simbolius:

Jei ryšio kanale nėra trukdžių, tada visi kanalo matricos elementai, išskyrus esančius pagrindinėje įstrižainėje, yra lygūs nuliui. Tai rodo, kad perduodant signalą A 1 tikrai sulauksime b 1 perdavus A 2 - b 2 ,..., A m - b m. Tikimybė gauti tinkamą signalą taps besąlyginis, ir sąlyginis entropija bus lygi nuliui.

Sąlyginė entropija pasiekia maksimumą tuo atveju, kai perduodamas simbolis A i gal su lygia tikimybe bet kurį gautą signalą b 1 , b 2 , ..., b m .