Raskite Markovo grandinės ribines tikimybes. Markovo grandinė yra paprasta: pažvelkime į principą išsamiai

Markovo grandinės

Įvadas

§ 1. Markovo grandinė

§ 2. Homogeninė Markovo grandinė. Perėjimo tikimybės. Perėjimo matrica

§3. Markovo lygybė

§4. Stacionarus paskirstymas. Teorema apie ekstremalios tikimybės

§5. Teoremos apie ribojimo tikimybes Markovo grandinėje įrodymas

§6. Markovo grandinių pritaikymas

Išvada

Naudotos literatūros sąrašas

Įvadas

Mūsų tema kursinis darbas Markovo grandinės. Markovo grandinės pavadintos iškilaus rusų matematiko Andrejaus Andrejevičiaus Markovo, kuris daug dirbo atsitiktiniai procesai ir labai prisidėjo prie šios srities plėtros. IN pastaruoju metu apie Markovo grandinių naudojimą galima išgirsti daugiausia skirtingos sritys: šiuolaikinės interneto technologijos, analizuojant literatūrinius tekstus ar net kuriant futbolo komandos taktiką. Tie, kurie nežino, kas yra Markovo grandinės, gali jausti, kad tai kažkas labai sudėtingo ir beveik nesuprantamo.

Ne, yra kaip tik atvirkščiai. Markovo grandinė yra viena iš labiausiai paprasti atvejai sekos atsitiktiniai įvykiai. Tačiau, nepaisant savo paprastumo, jis dažnai gali būti naudingas net aprašant gana sudėtingus reiškinius. Markovo grandinė yra atsitiktinių įvykių seka, kurioje kiekvieno įvykio tikimybė priklauso tik nuo ankstesnio, bet nepriklauso nuo ankstesnių įvykių.

Prieš pradėdami gilintis, turime apsvarstyti keletą pagalbinių klausimų, kurie paprastai žinomi, bet yra būtini tolesniam aprašymui.

Mano kursinio darbo tikslas – išsamiau išnagrinėti Markovo grandinių taikymą, problemos teiginį ir Markovo problemas.

§1. Markovo grandinė

Įsivaizduokime, kad atliekama bandymų seka.

Apibrėžimas. Markovo grandinė yra bandymų seka, kurių kiekviename pasirodo vienas ir tik vienas iš šių. nesuderinami įvykiai visa grupė ir sąlyginė tikimybė kad bandyme įvyks įvykis , su sąlyga, kad įvykis įvyko per teismą , nepriklauso nuo ankstesnių testų rezultatų.

Pavyzdžiui, jei bandymų seka sudaro Markovo grandinę, o visa grupė susideda iš keturių nesuderinamų įvykių ir yra žinoma, kad įvykis įvyko šeštajame bandyme, tada sąlyginė tikimybė, kad įvykis įvyks septintajame bandyme, nepriklauso. apie tai, kokie įvykiai pasirodė pirmajame, ..., penktame bandyme.

Atkreipkite dėmesį, kad nepriklausomi testai yra ypatingas Markovo grandinės atvejis. Iš tiesų, jei testai yra nepriklausomi, tada kai kurie pasirodo tam tikras įvykis jokiame teste nepriklauso nuo anksčiau atliktų testų rezultatų. Iš to išplaukia, kad Markovo grandinės sąvoka yra nepriklausomų bandymų sampratos apibendrinimas.

Dažnai, pristatydami Markovo grandinių teoriją, jie laikosi skirtingos terminijos ir kalba apie kai kuriuos fizinę sistemą, kuri kiekvienu laiko momentu yra vienoje iš būsenų: , ir savo būseną keičia tik atskirais laiko momentais, tai yra, sistema pereina iš vienos būsenos į kitą (pavyzdžiui, iš į ). Markovo grandinėms tikimybė patekti į bet kurią būseną yra šiuo metu priklauso tik nuo to, kokios būsenos sistema buvo šiuo metu, ir nesikeičia, nes jos būsenos ankstesniais momentais tampa žinomos. Be to, ypač po testo, sistema gali likti toje pačioje būsenoje („judėti“ iš būsenos į būseną).

Norėdami iliustruoti, apsvarstykite pavyzdį.

1 pavyzdys.Įsivaizduokime, kad dalelė, esanti tiesioje linijoje, juda šia tiesia linija, veikiama atsitiktinių smūgių, atsirandančių momentais . Dalelė gali būti taškuose, kurių koordinatės yra sveikosios: ; Taškuose yra atspindinčios sienelės. Kiekvienas paspaudimas perkelia dalelę į dešinę su tikimybe ir į kairę su tikimybe, nebent dalelė yra šalia sienos. Jei dalelė yra šalia sienos, bet koks stūmimas perkelia ją vienu vienetu tarpo tarp sienų viduje. Čia matome, kad šis dalelių vaikščiojimo pavyzdys yra tipiška Markovo grandinė.

Taigi įvykiai vadinami sistemos būsenomis, o testai – jos būsenų pokyčiais.

Dabar apibrėžkime Markovo grandinę naudodami naują terminiją.

Diskretaus laiko Markovo grandinė yra grandinė, kurios būsenos keičiasi tam tikru fiksuotu laiku.

Markovo grandinėlė su nuolatinis laikas vadinama grandine, kurios būsenos keičiasi bet kuriais atsitiktiniais galimais laiko momentais.

§2. Vienalytė Markovo grandinė. Perėjimo tikimybės. Perėjimo matrica

Apibrėžimas. Markovo grandinė vadinama vienalyte, jei sąlyginė tikimybė (perėjimas iš būsenos į būseną) nepriklauso nuo bandymo skaičiaus. Todėl užuot rašę tiesiog .

1 pavyzdys. Atsitiktinis pasivaikščiojimas. Tegul taške, kurio koordinatė yra sveikoji, tiesioje linijoje yra medžiagos dalelė. Tam tikrais laiko momentais dalelė patiria smūgius. Stūmimo įtakoje dalelė juda su tikimybe vienu vienetu į dešinę ir su tikimybe vienu vienetu į kairę. Akivaizdu, kad dalelės padėtis (koordinatė) po smūgio priklauso nuo to, kur dalelė buvo po iš karto prieš tai buvusio smūgio, ir nepriklauso nuo to, kaip ji judėjo veikiama kitų ankstesnių smūgių.

Taigi atsitiktinis pasivaikščiojimas yra vienalytės Markovo grandinės su diskrečiu laiku pavyzdys.

Perėjimo tikimybė yra sąlyginė tikimybė, kad iš būsenos (kurioje sistema atsidūrė atlikus tam tikrą testą, nesvarbu, koks skaičius) dėl kito bandymo sistema pereis į būseną.

Taigi žymėjime pirmasis indeksas nurodo ankstesnės būsenos numerį, o antrasis – vėlesnės būsenos numerį. Pavyzdžiui, yra perėjimo iš antrosios būsenos į trečiąją tikimybė.

Tegul valstybių skaičius yra baigtinis ir lygus .

Sistemos perėjimo matrica yra matrica, kurioje yra visos šios sistemos perėjimo tikimybės:

Kadangi kiekvienoje matricos eilutėje yra įvykių (perėjimo iš tos pačios būsenos į bet kokią galimą būseną) tikimybės, kurios sudaro pilna grupė, tada šių įvykių tikimybių suma lygi vienetui. Kitaip tariant, kiekvienos perėjimo matricos eilutės perėjimo tikimybių suma yra lygi vienetui:

Pateiksime sistemos, kuri gali būti trijų būsenų, pereinamosios matricos pavyzdį; perėjimas iš būsenos į būseną vyksta pagal vienalytės Markovo grandinės schemą; perėjimo tikimybės pateikiamos matrica:

Čia matome, kad jei sistema buvo būsenos, tai pakeitus būseną vienu žingsniu, ji išliks toje pačioje būsenoje su tikimybe 0,5, išliks toje pačioje būsenoje su tikimybe 0,5 ir pereis į būseną su tikimybe 0,2, tada po perėjimo gali atsidurti būsenose ; ji negali pereiti iš valstybės į. Paskutinė eilutė matrica parodo mums, kad iš būsenos pereiti į bet kurią iš galimos būsenos su ta pačia 0,1 tikimybe.

Remiantis sistemos pereinamąja matrica, galite sukurti vadinamąjį sistemos būsenos grafiką, kuris taip pat vadinamas paženklintu būsenos grafiku. Tai patogu vizualiai pavaizduoti grandinę. Pažvelkime į grafikų sudarymo tvarką naudodami pavyzdį.

2 pavyzdys. Naudodami nurodytą perėjimo matricą, sukurkite būsenos grafiką.

Nes matrica ketvirta tvarka, tada, atitinkamai, sistema turi 4 galimas būsenas.

Grafike nerodomos tikimybės, kad sistema pereis iš vienos būsenos į tą pačią. Svarstant konkrečios sistemos Patogu pirmiausia sudaryti būsenų grafiką, tada nustatyti sistemos perėjimų iš vienos būsenos į tą pačią tikimybę (remiantis reikalavimu, kad matricos eilučių elementų suma būtų lygi vienetui), o tada konstruoti perėjimą. sistemos matrica.

§3. Markovo lygybė

Apibrėžimas. Pažymime tikimybe, kad dėl žingsnių (testų) sistema pereis iš būsenos į būseną . Pavyzdžiui, tikimybė pereiti 10 žingsnių iš antrosios būsenos į penktąją.

Pabrėžiame, kad gauname perėjimo tikimybes

Iškelkime sau užduotį: žinodami perėjimo tikimybes, suraskite tikimybes, kad sistema žingsniais pereis iš būsenos į būseną.

Šiuo tikslu mes įtraukiame į tarpinę būseną (tarp ir ). Kitaip tariant, manysime, kad iš pradinės būsenos žingsniais sistema su tikimybe pereis į tarpinę būseną, po kurios likusiais žingsniais iš tarpinės būsenos su tikimybe pereis į galutinę būseną.

Pagal formulę visa tikimybe, gauname

. (1)

Ši formulė vadinama Markovo lygybe.

Paaiškinimas.Įveskime tokį užrašą:

– mus dominantis įvykis (žingsniais sistema pereis iš pradinės būsenos į galutinę būseną), todėl, ; − hipotezės (žingsniais sistema pereis iš pradinės būsenos į tarpinę būseną), taigi, − sąlyginė atsiradimo tikimybė, su sąlyga, kad hipotezė įvyko (žingsniais sistema pereis iš tarpinės būsenos į galutinę būseną), todėl

Pagal bendrosios tikimybės formulę,

()

Arba mūsų priimtame užraše

kuri sutampa su Markovo formule (1).

Žinodami visas perėjimo tikimybes, tai yra, žinodami perėjimo iš būsenos į būseną matricą vienu žingsniu, galite rasti perėjimo iš būsenos į būseną tikimybes dviem žingsniais, taigi ir pačią perėjimo matricą; naudojant žinomą matricą, perėjimo iš būsenos į būseną matricą galite rasti trimis žingsniais ir pan.

Iš tiesų, įtraukiant Markovo lygybę

,

ženklų grandinė atsitiktinė tikimybė

,

(2)

Taigi, naudodami (2) formulę, galite rasti visas tikimybes, taigi ir pačią matricą. Kadangi tiesioginis (2) formulės naudojimas pasirodo varginantis, o matricos skaičiavimas greičiau pasiekia tikslą, iš (2) kylančius ryšius parašysiu matricos forma:

Įdėję (1), gauname panašiai

Apskritai

1 teorema. Dėl bet kokių s, t

(3)

Įrodymas. Apskaičiuokime tikimybę naudojant bendrosios tikimybės formulę (), dėjimas

Iš lygybių

Vadinasi, iš lygybių (4) ir

gauname teoremos teiginį.

Apibrėžkime matricą B matricos žymėjimas(3) turi formą

Nuo tada kur yra perėjimo tikimybės matrica. Iš (5) išplaukia

(6)

Matricų teorijoje gauti rezultatai leidžia, naudojant (6) formulę, apskaičiuoti ir ištirti jų elgesį, kada

1 pavyzdys. Nurodyta perėjimo matrica Raskite perėjimo matricą

Sprendimas. Pasinaudokime formule

Padauginę matricas, galiausiai gauname:

.

§4. Stacionarus paskirstymas. Ribinės tikimybės teorema

Tikimybių pasiskirstymą tam tikru laiko momentu galima rasti naudojant bendrosios tikimybės formulę

(7)

Gali pasirodyti, kad tai nepriklauso nuo laiko. Paskambinkime stacionarus paskirstymas vektorius , atitinkantis sąlygas

kur yra perėjimo tikimybė.

Jei Markovo grandinėje tada bet kokiam

Šis teiginys seka indukcija iš (7) ir (8).

Pateiksime ribojančių tikimybių vieneto teoremos formuluotę svarbi klasė Markovo grandinės.

1 teorema. Jei kai kuriems >0 visi matricos elementai yra teigiami, tai bet kuriam , for

, (9)

Kur stacionarus skirstinys su tam tikra konstanta, tenkinančia nelygybę 0< h <1.

Kadangi , tada pagal teoremos sąlygas iš bet kurios būsenos galima laiku patekti į bet kurią būseną su teigiama tikimybe. Teoremos sąlygos išskiria grandines, kurios tam tikra prasme yra periodinės.

Jei tenkinamos 1 teoremos sąlygos, tai tikimybė, kad sistema yra tam tikroje ribinėje būsenoje, nepriklauso nuo pradinio skirstinio. Iš tikrųjų iš (9) ir (7) išplaukia, kad bet koks pradinis paskirstymas ,

Panagrinėkime kelis Markovo grandinių pavyzdžius, kuriems netenkinamos 1 teoremos sąlygos. Nesunku įsitikinti, kad tokie pavyzdžiai yra pavyzdžiai. Pavyzdyje perėjimo tikimybės turi ribas, tačiau šios ribos priklauso nuo pradinės būsenos. Visų pirma, kai

Kituose pavyzdžiuose tikimybės diapazonai akivaizdžiai neegzistuoja.

Raskime stacionarų skirstinį 1 pavyzdyje. Turime rasti vektorių atitinkančias sąlygas (8):

,

;

Taigi, stacionarus skirstinys egzistuoja, bet ne visi koordinačių vektoriai yra teigiami.

Polinominei schemai buvo įvesti atsitiktiniai dydžiai, lygūs tam tikro tipo rezultatų skaičiui. Įveskime panašius kiekius Markovo grandinėms. Leisti būti, kiek kartų sistema per laiką patenka į būseną. Tada sistemos pataikyti į būseną dažnis. Naudodami (9) formules galime įrodyti, kad artėjant prie . Norėdami tai padaryti, turite gauti asimptozines formules ir naudoti Čebyševo nelygybę. Čia yra formulės išvedimas. Pavaizduokime jį formoje

(10)

kur, jei ir kitaip. Nes

,

tada, pasinaudoję matematinio lūkesčio savybe ir (9) formule, gauname

.

Remiantis 1 teorema, trigubas šios lygybės dešinėje pusėje esantis narys yra konvergentinės eilutės dalinė suma. Įdėjimas , gauname

Kadangi

Visų pirma iš (11) formulės matyti, kad

adresu

Taip pat galite gauti formulę, kuri naudojama dispersijai apskaičiuoti.

§5. Teoremos apie ribojimo tikimybes Markovo grandinėje įrodymas

Pirmiausia įrodykime dvi lemas. Padėkime

1 lema. Yra ribos bet kuriai

Įrodymas. Naudodami (3) lygtį gauname

Taigi, sekos yra monotoniškos ir ribotos. Tai reiškia 1 lemos teiginį.

2 lema. Jei tenkinamos 2 teoremos sąlygos, tada yra konstantos, toks kad

Dėl bet kokių

kur , reiškia sumavimą per visus, kurie yra teigiami, ir apibendrinimą per likusius . Iš čia

. (12)

Kadangi pagal 1 teoremos sąlygas perėjimo tikimybės visiems , tada bet kuriai

Ir dėl baigtinio būsenų skaičiaus

Dabar įvertinkime skirtumą . Naudodami (3) lygtį su , gauname

Iš čia, naudodami (8)-(10), randame

=.

Sujungę šį ryšį su nelygybe (14), gauname lemos teiginį.

Eikite į teoremos įrodymą. Kadangi sekos yra monotoniškos, tada

0<. (15)

Iš to ir 1 lemos randame

Todėl, kai gausite ir

Pozityvumas išplaukia iš nelygybės (15). Pereinant prie ribos ties (3) lygtimi ir joje, gauname, kad tenkinama (12) lygtis. Teorema įrodyta.

§6. Markovo grandinių pritaikymas

Markovo grandinės pasitarnauja kaip geras įvadas į atsitiktinių procesų teoriją, t.y. paprastų atsitiktinių kintamųjų šeimos sekų teorija, paprastai priklausomai nuo parametro, kuris daugumoje programų atlieka laiko vaidmenį. Visų pirma ji skirta išsamiai apibūdinti tiek ilgalaikę, tiek vietinę proceso elgseną. Štai keletas labiausiai išnagrinėtų klausimų šiuo klausimu.

Brauno judėjimas ir jo apibendrinimai – difuziniai procesai ir procesai su nepriklausomais prieaugiais . Atsitiktinių procesų teorija padėjo pagilinti ryšį tarp tikimybių teorijos, operatorių teorijos ir diferencialinių lygčių teorijos, kuri, be kita ko, buvo svarbi fizikoje ir kitose srityse. Taikymas apima aktuarinę (draudimo) matematiką, eilių teoriją, genetiką, eismo valdymą, elektros grandinės teoriją ir inventoriaus teoriją dominančius procesus.

Martingalai . Šie procesai išsaugo pakankamai Markovo grandinių savybių, kad joms liktų galioti svarbios ergodinės teoremos. Martingalai nuo Markovo grandinių skiriasi tuo, kad kai yra žinoma dabartinė būsena, nuo praeities nepriklauso tik matematinis ateities lūkestis, bet nebūtinai pats tikimybių skirstinys. Be to, kad martingalų teorija yra svarbi mokslinių tyrimų priemonė, ji praturtino atsitiktinių procesų, atsirandančių statistikoje, branduolio dalijimosi teoriją, genetiką ir informacijos teoriją, naujomis ribinių teoremomis.

Stacionarūs procesai . Seniausia žinoma ergodinė teorema, kaip minėta aukščiau, gali būti interpretuojama kaip rezultatas, apibūdinantis stacionaraus atsitiktinio proceso ribojantį elgesį. Toks procesas turi savybę, kad visi tikimybiniai dėsniai, kuriuos jis tenkina, laiko poslinkių atžvilgiu išlieka nekintami. Ergodinė teorema, pirmą kartą fizikų suformuluota kaip hipotezė, gali būti pavaizduota kaip teiginys, kad tam tikromis sąlygomis ansamblio vidurkis sutampa su laiko vidurkiu. Tai reiškia, kad tą pačią informaciją galima gauti iš ilgalaikio sistemos stebėjimo ir vienu metu (ir akimirksniu) stebint daugybę nepriklausomų tos pačios sistemos kopijų. Didelių skaičių dėsnis yra ne kas kita, kaip specialus Birkhoffo ergodinės teoremos atvejis. Stacionarių Gauso procesų elgsenos interpoliacija ir numatymas, suprantamas plačiąja prasme, yra svarbus klasikinės mažiausių kvadratų teorijos apibendrinimas. Stacionarių procesų teorija yra būtinas tyrimo įrankis daugelyje sričių, pavyzdžiui, komunikacijos teorijoje, kuri tiria ir kuria sistemas, kurios perduoda pranešimus esant triukšmui ar atsitiktiniams trukdžiams.

Markovo procesai (procesai be pasekmių) vaidina didžiulį vaidmenį modeliuojant eilių sistemas (QS), taip pat modeliuojant ir pasirenkant visuomenėje vykstančių socialinių ir ekonominių procesų valdymo strategiją.

Markovo grandinė taip pat gali būti naudojama tekstams generuoti. Keli tekstai pateikiami kaip įvestis, tada sukuriama Markovo grandinė su tikimybe, kad vienas žodis seks kitą, o gautas tekstas sukuriamas remiantis šia grandine. Žaislas pasirodo labai linksmas!

Išvada

Taigi kursiniame darbe kalbėjome apie Markovo grandinės grandinę. Sužinojome, kokiose srityse ir kaip ji naudojama, nepriklausomi testai įrodė teoremą apie ribojimo tikimybes Markovo grandinėje, pateikė tipinės ir vienalytės Markovo grandinės pavyzdžių, taip pat pereinamosios matricos radimą.

Matėme, kad Markovo grandinės dizainas yra tiesioginis nepriklausomo bandymo dizaino apibendrinimas.

Naudotos literatūros sąrašas

1. Čistjakovas V.P. Tikimybių teorijos kursas. 6-asis leidimas, red. − Sankt Peterburgas: Lan leidykla, 2003. − 272 p. − (Vadovėlis universitetams. Specialioji literatūra).

2. Gnedenko B.V. Tikimybių teorijos kursas.

3. Gmurmanas V.E. Tikimybių teorija ir matematinė statistika.

4. Ventzel E.S. Tikimybių teorija ir jos inžineriniai pritaikymai.

5. Kolmogorovas A.N., Žurbenko I.G., Prochorovas A.V. Įvadas į tikimybių teoriją. − Maskva-Iževskas: Kompiuterinių tyrimų institutas, 2003, 188 p.

6. Katz M. Tikimybė ir su jais susiję fizikos klausimai.

Markovo atsitiktinių procesų matematinio aprašymo metodai diskrečiųjų būsenų sistemoje (DS) priklauso nuo to, kokiais laiko momentais (anksčiau žinomais ar atsitiktiniais) gali įvykti sistemos perėjimai iš būsenos į būseną.
Jei sistemos perėjimas iš būsenos į būseną įmanomas iš anksto nustatytais laiko momentais, mes susiduriame su atsitiktinis Markovo procesas su diskrečiu laiku. Jei perėjimas įmanomas bet kuriuo atsitiktiniu laiko momentu, tada mes susiduriame su atsitiktinis Markovo procesas su nuolatiniu laiku.
Tegul būna fizinė sistema S, kuris gali būti n teigia S 1 , S 2 , …, S n. Perėjimai iš būsenos į būseną galimi tik tam tikrais laiko momentais t 1 , t 2 , …, tk, vadinkime šias akimirkas laiko žingsniais. Mes apsvarstysime bendrą įmonę sistemoje S kaip sveikojo skaičiaus argumento 1, 2, … funkcija, k, kur argumentas yra žingsnio numeris.
Pavyzdys: S 1 → S 2 → S 3 → S 2 .
Sutarkime paskirti S i (k) – įvykis, susidedantis iš to, kad po kžingsnių sistema yra S būsenoje i.
Dėl bet kokių kįvykiai S 1 ( k), S 2 ( k),…, S n (k) forma pilna renginių grupė ir yra nesuderinamas.

Procesas sistemoje gali būti pavaizduotas kaip įvykių grandinė.
Pavyzdys: S 1 (0) , S 2 (1) , S 3 (2) , S 5 (3) ,….
Ši seka vadinama Markovo grandinė , jei kiekvienam žingsniui perėjimo iš bet kurios būsenos tikimybė S i bet kokiomis sąlygomis S j nepriklauso nuo to, kada ir kaip sistema pasiekė būseną S i.
Leiskite bet kuriuo momentu po bet kurio k- pakopos sistema S gali būti vienoje iš valstybių S 1 , S 2 , …, S n, t. y. gali įvykti vienas įvykis iš visos įvykių grupės: S 1 (k), S 2 ( k) , …, S n (k). Pažymime šių įvykių tikimybes:
P 1 (1) = P(S 1 (1)); P 2 (1) = P(S 2 (1)); …; Pn(1) = P(S n (k));
P 1 (2) = P(S 1 (2)); P 2 (2) = P(S2 (2)); ...; Pn(2) = P(S n (2));
P 1 (k) = P(S 1 (k)); P 2 (k) = P(S 2 (k)); …; Pn(k) = P(S n (k)).
Nesunku pastebėti, kad kiekvieno žingsnio numerio sąlyga yra įvykdyta
P 1 (k) + P 2 (k) +…+ Pn(k) = 1.
Pavadinkime šias tikimybes būsenos tikimybės Todėl užduotis skambės taip: suraskite bet kurios sistemos būsenų tikimybes k.
Pavyzdys. Tegul yra kokia nors sistema, kuri gali būti bet kurioje iš šešių būsenų. tada joje vykstantys procesai gali būti pavaizduoti arba sistemos būklės pokyčių grafiko pavidalu (7.9 pav. A), arba sistemos būsenos grafiko pavidalu (7.9 pav., b).

A)

Ryžiai. 7.9
Taip pat sistemos procesai gali būti pavaizduoti kaip būsenų seka: S 1 , S 3 , S 2 , S 2 , S 3 , S 5 , S 6 , S 2 .
Būsenos tikimybė ( k+ 1) žingsnis priklauso tik nuo būsenos k- m žingsnis.
Bet kokiam žingsniui k yra tam tikrų tikimybių, kad sistema pereis iš bet kurios būsenos į bet kurią kitą būseną, pavadinkime šias tikimybes Markovo grandinės perėjimo tikimybės.
Kai kurios iš šių tikimybių bus 0, jei perėjimas iš vienos būsenos į kitą neįmanomas vienu žingsniu.
Markovo grandinė vadinama vienalytis, jei pereinamosios būsenos nepriklauso nuo žingsnio skaičiaus, kitu atveju jis vadinamas nevienalytis.
Tegul būna vienalytė Markovo grandinė ir tegul sistema S turi n galimos būsenos: S 1 , …, S n. Tegu kiekvienai būsenai žinoma perėjimo į kitą būseną vienu žingsniu tikimybė, t.y. P ij(nuo S i V S j vienu žingsniu), tada perėjimo tikimybes galime užrašyti kaip matricą.

. (7.1)
Išilgai šios matricos įstrižainės yra tikimybės, kad sistema pereis iš būsenos S i toje pačioje būsenoje S i.
Naudojant anksčiau įvestus įvykius , perėjimo tikimybes galime parašyti kaip sąlygines tikimybes:
.
Akivaizdu, kad terminų suma kiekvienoje matricos eilutėje (1) yra lygus vienetui, kadangi įvykiai sudaryti visą nesuderinamų įvykių grupę.

Svarstant Markovo grandines, taip pat analizuojant Markovo atsitiktinį procesą, naudojami įvairūs būsenų grafikai (7.10 pav.).

Ryžiai. 7.10

Ši sistema gali būti bet kurioje iš šešių būsenų P ij yra sistemos perėjimo iš būsenos tikimybė S i valstybėje S j. Šiai sistemai užrašome lygtis, kad sistema tuo metu buvo tam tikroje būsenoje ir išėjo iš jos t neišėjo:

Bendru atveju Markovo grandinė yra nehomogeniška, ty tikimybė P ij keičiasi nuo žingsnio iki žingsnio. Tarkime, kad kiekviename žingsnyje pateikiama perėjimo tikimybių matrica, tada tikimybė, kad sistema Sįjungta k-tas žingsnis bus valstybėje S i, galima rasti naudojant formulę

Žinant perėjimų tikimybių matricą ir pradinę sistemos būseną, galima rasti būsenų tikimybes po bet kurio k-tas žingsnis. Tegul pradiniu laiko momentu sistema būna būsenoje Sm. Tada t = 0
.
Raskime tikimybes po pirmo žingsnio. Iš valstybės Sm sistema pereis į būsenas S 1 , S 2 ir tt su tikimybėmis pm 1 , pm 2 , …, Pmm, …, P mn. Tada po pirmo žingsnio tikimybės bus lygios

. (7.2)
Raskime būsenos tikimybes po antrojo žingsnio: . Šias tikimybes apskaičiuosime naudodami bendrosios tikimybės formulę su hipotezėmis:
.
Hipotezės bus šie teiginiai:

• po pirmo žingsnio sistema buvo S 1 -H 1 būsenoje;
• po antrojo žingsnio sistema buvo S 2 -H 2 būsenoje;
• po to n tajame žingsnyje sistema buvo S n -H n būsenoje.

Bet kurios būsenos tikimybė po antrojo žingsnio:

(7.3)
Formulė (7.3) apibendrina visas perėjimo tikimybes P ij, bet atsižvelgiama tik į vienetus, kurie skiriasi nuo nulio. Bet kokios būklės tikimybė po k- žingsnis:

(7.4)
Taigi, būsenos tikimybė po kžingsnis nustatomas pagal pasikartojimo formulę (7.4) per tikimybes ( k – 1) žingsnis.

6 užduotis. Pateikta Markovo grandinės perėjimo viename žingsnyje tikimybių matrica. Raskite tam tikros grandinės perėjimo matricą trimis žingsniais .
Sprendimas. Sistemos perėjimo matrica yra matrica, kurioje yra visos šios sistemos perėjimo tikimybės:

Kiekvienoje matricos eilutėje yra įvykių (perėjimo iš būsenos) tikimybės i valstybėje j), kurie sudaro visą grupę, todėl šių įvykių tikimybių suma lygi vienetui:

Pažymėkime p ij (n) tikimybę, kad dėl n žingsnių (testų) sistema pereis iš būsenos i į būseną j. Pavyzdžiui, p 25 (10) yra perėjimo iš antrosios būsenos į penktąją dešimties žingsnių tikimybė. Atkreipkite dėmesį, kad n=1 gauname perėjimo tikimybes p ij (1)=p ij .
Mums duota užduotis: žinant perėjimo tikimybes p ij, rasti sistemos perėjimo iš būsenos tikimybes p ij (n). i valstybėje j už nžingsniai. Norėdami tai padaryti, pristatome tarpinį (tarp i Ir j) būsena r. Kitaip tariant, manysime, kad nuo pradinės būsenos i už mžingsniais sistema pereis į tarpinę būseną r su tikimybe p ij (n-m), po kurios likusiais n-m žingsniais iš tarpinės būsenos r pateks į galutinę būseną j su tikimybe p ij (n-m) . Naudodami bendrosios tikimybės formulę gauname:
.
Ši formulė vadinama Markovo lygybe. Naudodami šią formulę galite rasti visas p ij (n) tikimybes ir, atitinkamai, pačią matricą P n. Kadangi matricos skaičiavimas greičiau pasiekia tikslą, matricos ryšį, gautą iš gautos formulės, rašome bendra forma.
Apskaičiuokime Markovo grandinės perėjimo matricą trimis etapais, naudodami gautą formulę:

Atsakymas:.

Užduotis Nr.1. Markovo grandinės perėjimo tikimybės matrica yra tokia:
.
Pasiskirstymas tarp būsenų momentu t=0 nustatomas pagal vektorių:
π 0 =(0,5; 0,2; 0,3)
Rasti: a) pasiskirstymas pagal būseną momentais t=1,2,3,4.
c) stacionarus paskirstymas.

Apibrėžimas. Markovo grandinė vadinama vienalyte, jei sąlyginė tikimybė (perėjimas iš būsenos į būseną) nepriklauso nuo bandymo skaičiaus. Štai kodėl jie tiesiog rašo.

1 pavyzdys. Atsitiktinis pasivaikščiojimas. Tegul taške, kurio koordinatė yra sveikoji, tiesioje linijoje yra medžiagos dalelė. Tam tikrais laiko momentais dalelė patiria smūgius. Stūmimo įtakoje dalelė juda su tikimybe vienu vienetu į dešinę ir su tikimybe vienu vienetu į kairę. Akivaizdu, kad dalelės padėtis (koordinatė) po smūgio priklauso nuo to, kur dalelė buvo po iš karto prieš tai buvusio smūgio, ir nepriklauso nuo to, kaip ji judėjo veikiama kitų ankstesnių smūgių.

Taigi atsitiktinis pasivaikščiojimas? Vienalytės diskretinio laiko Markovo grandinės pavyzdys.

Perėjimo tikimybė yra sąlyginė tikimybė, kad iš būsenos (kurioje sistema atsidūrė atlikus tam tikrą testą, nesvarbu, koks skaičius) dėl kito bandymo sistema pereis į būseną.

Taigi žymėjime pirmasis indeksas nurodo ankstesnio numerį, o antrasis? paskesnis valstybinis numeris. Pavyzdžiui, - perėjimo iš antrosios būsenos į trečią tikimybė.

Tegu būsenų skaičius baigtinis ir lygus.

Sistemos perėjimo matrica yra matrica, kurioje yra visos šios sistemos perėjimo tikimybės:

Kadangi kiekvienoje matricos eilutėje yra įvykių (perėjimo iš tos pačios būsenos į bet kokią galimą būseną) tikimybės, kurios sudaro visą grupę, šių įvykių tikimybių suma lygi vienetui. Kitaip tariant, kiekvienos perėjimo matricos eilutės perėjimo tikimybių suma yra lygi vienetui:

Pateiksime sistemos, kuri gali būti trijų būsenų, pereinamosios matricos pavyzdį; perėjimas iš būsenos į būseną vyksta pagal vienalytės Markovo grandinės schemą; perėjimo tikimybės pateikiamos matrica:

Čia matome, kad jei sistema buvo būsenoje, tai pakeitus būseną vienu žingsniu ji išliks toje pačioje būsenoje su 0,5 tikimybe, išliks toje pačioje būsenoje su tikimybe 0,5, pereis į būseną. su 0,2 tikimybe, tada po perėjimo ji gali atsidurti būsenose; ji negali pereiti iš valstybės į. Paskutinė matricos eilutė rodo, kad iš būsenos pereiti į bet kurią iš galimų būsenų su ta pačia tikimybe 0,1.

Remiantis sistemos pereinamąja matrica, galite sukurti vadinamąjį sistemos būsenos grafiką, kuris taip pat vadinamas paženklintu būsenos grafiku. Tai patogu vizualiai pavaizduoti grandinę. Pažvelkime į grafikų sudarymo tvarką naudodami pavyzdį.

2 pavyzdys. Naudodami nurodytą perėjimo matricą, sukurkite būsenos grafiką.

Nes ketvirtos eilės matrica, tada, atitinkamai, sistema turi 4 galimas būsenas.

Grafike nerodomos tikimybės, kad sistema pereis iš vienos būsenos į tą pačią. Nagrinėjant konkrečias sistemas, patogu pirmiausia sudaryti būsenų grafiką, tada nustatyti sistemos perėjimų iš vienos būsenos į tą pačią tikimybę (remiantis reikalavimu, kad matricos eilučių elementų suma būtų lygi vienetui ), tada sukurkite sistemos pereinamąją matricą.

Šiandien norėčiau papasakoti apie pamokos rašymą, kad būtų lengviau dirbti su Markovo grandinėmis.

Prašome pagal katę.

Pagrindinės žinios:

Grafų vaizdavimas gretimų matricos pavidalu, pagrindinių sąvokų apie grafikus išmanymas. C++ žinios praktinei daliai.

teorija

Markovo grandinė yra atsitiktinių įvykių seka su baigtiniu arba suskaičiuojamu baigčių skaičiumi, kuriai būdinga savybė, kad, laisvai kalbant, esant fiksuotai dabarčiai, ateitis nepriklauso nuo praeities. Pavadintas A. A. Markovo (vyresniojo) garbei.

Gana daug straipsnių parašyta apie Markovo grandinių naudojimą, tačiau mes ir toliau plėtosime klasę.

Pateiksiu Markovo grandinės pavyzdį:

Ateityje šią schemą vertinsime kaip pavyzdį.

Akivaizdu, kad jei iš viršūnės A yra tik viena išeinanti briauna, tada jos svoris bus lygus 1.

Pavadinimai

Matrica yra orientuoto svertinio grafiko gretimų matrica, kurią naudojame Markovo grandinei pavaizduoti. (daugiau apie tai vėliau). Šiuo konkrečiu atveju ši matrica taip pat vadinama perėjimo tikimybės matrica arba tiesiog perėjimo matrica.

Markovo grandinės matricinis vaizdas

Leiskite man jums priminti:

Grafo G su baigtiniu skaičiumi viršūnių n (numeruotų nuo 1 iki n) gretumo matrica yra n dydžio kvadratinė matrica A, kurioje elemento aij reikšmė lygi briaunų skaičiui iš i-osios viršūnės. grafiko iki j-osios viršūnės.

Mūsų atveju matrica bus 10x10 dydžio, parašykime:

0 50 0 0 0 0 50 0 0 0
0 0 80 20 0 0 0 0 0 0
0 0 0 0 100 0 0 0 0 0
0 0 0 0 100 0 0 0 0 0
0 0 0 0 0 100 0 0 0 0
0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 70 30 0
0 0 0 0 0 0 0 0 0 100
0 0 0 0 0 0 0 0 0 100
0 0 0 0 0 100 0 0 0 0

Idėja

Taigi, mes turime tikimybę, kad įvyks įvykis, kurio skaičius lygus skaičiui stulpelyje po įvykio, kurio skaičius lygus linijos.

Tie, kurie išmano tikimybių teoriją, gali atspėti, kad kiekviena eilutė yra tikimybių pasiskirstymo funkcija.

Markovo grandinės perėjimo algoritmas

Pastaba: viršūnė yra baigtinė, jei tikimybių skirstinys lygus nuliui (žr. 6 matricos eilutę).

Gana elegantiškas algoritmas, tiesa?

Įgyvendinimas

Perėjimo algoritmo įgyvendinimas

šabloną Elementas *Markovas ::Next(int StartElement = -1) ( if (Markov ::Inicijuota) // jei sukuriama gretimų matrica ( if (StartElement == -1) // jei numatytasis pradinis elementas yra StartElement = Markov ::Dabartinė; // tada tęsiame (konstruktoryje Current = 0) std::random_device rd;<>std::mt19937 gen(rd()); ::AdjacencyMatrix.at(Current).begin(), Markovas ::AdjacencyMatrix.at(Current).end()); // inicijuokite konteinerį, kad sugeneruotumėte skaičių pagal tikimybių pasiskirstymą int next = dicr_distr(gen); // generuoti kitą viršūnę if (next == Markov ::size()) // generatoriaus subtilybes, jei tikimybes skirstinys lygus nuliui, tai grąžina elementų skaičių grąžina NULL; Markovas ::Dabartinis = kitas; // pakeisti esamą viršūnės grąžinimą &(Markov

::elems.at(kitas)); // grąžinti reikšmę viršūnėje ) return NULL; ) Šis algoritmas atrodo ypač paprastas dėl konteinerio ypatybių diskretiškas_paskirstymas

0 50 0 0 0 0 50 0 0 0

. Gana sunku žodžiais apibūdinti, kaip veikia šis konteineris, todėl kaip pavyzdį paimkime 0-ąją matricos eilutę:

Dėl generatoriaus veikimo jis grąžins arba 1, arba 6, kurių kiekvieno tikimybė bus 0,5. Tai reiškia, kad jis grąžina stulpelio numerį (kuris yra lygus grandinės viršūnės skaičiui), kur judėjimas turėtų tęstis.

Pavyzdys programa, kuri naudoja klasę:

Programos, kuri atlieka Markovo grandinės perėjimą iš pavyzdžio, įgyvendinimas #įtraukti #įtraukti "Markov.h" #įtraukti #įtraukti naudojant vardų erdvę std; int main() (Markovas< num; i++) { getline(ins, str); chain.AddElement(str); // добавляем вершину } if (chain.InitAdjacency()) // инициализируем матрицу нулями { for (int i = 0; i < chain.size(); i++) { for (int j = 0; j < chain.size(); j++) { (ins >grandinėlė;<< "Adjacency matrix write error" << endl; } } } outs << chain.At(0) << " "; // выводим 0-ю вершину for (int i = 0; i < 20 * chain.size() - 1; i++) // генерируем 20 цепочек { string *str = chain.Next(); if (str != NULL) // если предыдущая не конечная outs << (*str).c_str() << " "; // выводим значение вершины else { outs << std::endl; // если конечная, то начинаем с начала chain.Current = 0; outs << chain.At(0) << " "; } } chain.UninitAdjacency(); // понятно } else cerr << "Can not initialize Adjacency matrix" << endl;; ins.close(); outs.close(); cin.get(); return 0; }

outs.open("out.txt"); ifstream ins;

ins.open("matrica.txt"); int num;

dvigubas Prob = 0;

(ins >> skaičius).get(); // viršūnių skaičius string str;

už (int i = 0; i

> Prob).get();

if (!chain.PushAdjacency(i, j, Prob)) // įveskite matricą ( cerr Programos generuojamos išvesties pavyzdys:

Visos galimos sistemos būsenos vienalytėje Markovo grandinėje ir yra stochastinė matrica, apibrėžianti šią grandinę, sudaryta iš perėjimo tikimybių

Stochastinę matricą ir atitinkamą homogeninę Markovo grandinę vadinsime taisyklingąja, jei matrica neturi charakteringų skaičių, besiskiriančių nuo vieneto ir moduliu lygų vienam, ir reguliariąja, jei be to vienybė yra paprasta matricos charakteristikų lygties šaknis.

Taisyklingajai matricai būdinga tai, kad jos normalia forma (69) (p. 373) matricos yra primityvios. Įprastai matricai papildomai .

Be to, vienalytė Markovo grandinė vadinama neskaidoma, skaidoma, acikline, cikline, jei šiai grandinei stochastinė matrica yra atitinkamai neskaidoma, skaidoma, primityvi, imprimityvi.

Kadangi primityvi stochastinė matrica yra specialus įprastos matricos tipas, aciklinė Markovo grandinė yra specialus įprastos grandinės tipas.

Parodysime, kad ribojančios perėjimo tikimybės egzistuoja tik įprastoms vienarūšėms Markovo grandinėms.

Iš tiesų, tegul yra minimalus reguliarios matricos polinomas. Tada

Pagal 10 teoremą galime manyti, kad

Remiantis (24) formule Ch. V (113 psl.)

(96)

Kur yra redukuota adjungtinė matrica ir

Jei yra reguliari matrica, tada

ir todėl dešinėje (96) formulės pusėje visi terminai, išskyrus pirmąjį, yra lygūs nuliui. Todėl įprastai matricai yra matrica, sudaryta iš ribojančių perėjimo tikimybių ir

Priešinga situacija akivaizdi. Jei yra problema

tada matrica negali turėti būdingo skaičiaus, kuriam , a , nes tada riba neegzistuotų [Ta pati riba turi egzistuoti dėl ribos egzistavimo (97").]

Mes įrodėme, kad taisyklingai (ir tik taisyklingai) vienalyčiai Markovo grandinei egzistuoja matrica. Ši matrica nustatoma pagal (97) formulę.

Parodykime, kaip matrica gali būti išreikšta charakteringu daugianariu

ir adjunktinė matrica .

Iš tapatybės

Pagal (95), (95") ir (98) tai:

Todėl formulę (97) galima pakeisti formule

(97)

Įprastos Markovo grandinės atveju, kadangi tai yra tam tikro tipo reguliarioji grandinė, matrica egzistuoja ir yra nustatoma pagal bet kurią iš formulių (97), (97"). Šiuo atveju formulė (97") taip pat turi formą

2. Apsvarstykite taisyklingą bendro tipo (netaisyklingos) grandinę. Atitinkamą matricą rašome normalia forma

(100)

kur yra primityviosios stochastinės matricos, o neskaidomos matricos turi didžiausius charakteristikų skaičius. Tikėdamas

,

rašykime į formą

(101)

Bet , nes visi būdingieji matricos skaičiai absoliučia verte yra mažesni už vieną. Štai kodėl

(102)

Kadangi yra primityvios stochastinės matricos, tai matricos pagal (99) ir (35) formules (p. 362) yra teigiamos

ir kiekviename bet kurios iš šių matricų stulpelyje visi elementai yra lygūs vienas kitam:

.

Atkreipkite dėmesį, kad normalioji stochastinės matricos forma (100) atitinka sistemos būsenų padalijimą į grupes:

Kiekviena grupė (104) atitinka savo (101) serijų grupę. Pagal L. N. Kolmogorovo terminologiją, sistemos būsenos, įtrauktos į esmines, o į likusias grupes įtrauktos būsenos vadinamos nesvarbiomis.

Iš matricos formos (101) išplaukia, kad bet kuriam baigtiniam žingsnių skaičiui (nuo momento iki momento ) vienintelis galimas sistemos perėjimas yra a) iš esminės būsenos į tos pačios grupės esminę būseną, b) nuo iš nesvarbios būsenos į esminę būseną ir c) iš nesvarbios į nesvarbią tos pačios ar ankstesnės grupės būseną.

Iš matricos formos (102) išplaukia, kad perėjimas galimas tik iš bet kurios būsenos į esminę būseną, t.y., perėjimo į bet kurią neesminę būseną tikimybė su žingsnių skaičiumi yra lygi nuliui. Todėl esminės būsenos kartais vadinamos ribinėmis būsenomis.

3. Iš (97) formulės išplaukia:

.

Tai rodo, kad kiekvienas matricos stulpelis yra būdingojo skaičiaus stochastinės matricos savasis vektorius.

Įprastoje matricoje skaičius 1 yra paprasta charakteristikų lygties šaknis ir šis skaičius atitinka tik vieną (iki skaliarinio koeficiento) matricos savąjį vektorių. Todėl bet kuriame matricos stulpelyje visi elementai yra lygūs tam pačiam neneigiamam skaičiui:

Taigi įprastoje grandinėje ribojančios perėjimo tikimybės nepriklauso nuo pradinės būsenos.

Ir atvirkščiai, jei kurioje nors taisyklingoje vienalytėje Markovo grandinėje prodelio perėjimo tikimybės nepriklauso nuo pradinės būsenos, ty galioja formulės (104), tai schemoje (102) matricai tai būtina. Bet tada grandinė yra įprasta.

Aciklinei grandinei, kuri yra ypatingas įprastos grandinės atvejis, tai yra primityvi matrica. Todėl kai kuriems (žr. 8 teoremą 377 psl.). Bet tada .

Atvirkščiai, iš to išplaukia, kad kai kuriems , o tai pagal 8 teoremą reiškia, kad matrica yra primityvi, todėl pateikta homogeniška Markovo grandinė yra aciklinė.

Gautus rezultatus formuluojame šios teoremos forma:

11 teorema. 1. Kad homogeninėje Markovo grandinėje egzistuotų visos ribojančios perėjimo tikimybės, būtina ir pakanka, kad grandinė būtų taisyklinga. Šiuo atveju matrica, sudaryta iš ribinių perėjimo tikimybių, nustatoma pagal (95) arba (98) formulę.

2. Kad ribojančios perėjimo tikimybės taisyklingoje vienalytėje Markovo grandinėje būtų nepriklausomos nuo pradinės būsenos, būtina ir pakanka, kad grandinė būtų taisyklinga. Šiuo atveju matrica nustatoma pagal formulę (99).

3. Kad visos ribojančios perėjimo tikimybės taisyklingoje vienalytėje Markovo grandinėje skirtųsi nuo nulio, būtina ir pakanka, kad grandinė būtų aciklinė.

4. Įveskime absoliučių tikimybių stulpelius

(105)

kur yra tikimybė, kad sistema šiuo metu bus būsenoje (,). Naudodami tikimybių sudėties ir daugybos teoremas, randame:

(,),

dvigubas Prob = 0;

kur yra transponuota matricos matrica .

Visos absoliučios tikimybės (105) nustatomos pagal (106) formulę, jei žinomos pradinės tikimybės ir perėjimo tikimybių matrica

Įveskime ribines absoliučias tikimybes

Pereinant iš abiejų lygybės (106) pusių iki ribos ties , gauname:

Atkreipkite dėmesį, kad ribojančių perėjimo tikimybių matricos egzistavimas reiškia ribojančių absoliučių tikimybių egzistavimą bet kokioms pradinėms tikimybėms ir atvirkščiai.

Iš (107) formulės ir iš matricos formos (102) išplaukia, kad ribinės absoliučios tikimybės, atitinkančios nesvarbias būsenas, yra lygios nuliui.

Abiejų matricos lygybės pusių padauginimas

dešinėje , pagal (107) gauname:

y., ribinių absoliučių tikimybių stulpelis yra būdingojo skaičiaus matricos savasis vektorius.

Jei ši Markovo grandinė yra taisyklinga, tai ji yra paprasta matricos charakteringos lygties šaknis. Šiuo atveju ribinių absoliučių tikimybių stulpelis vienareikšmiškai nustatomas iš (108) (nuo ir ).

Tegu pateikiama įprasta Markovo grandinė. Tada iš (104) ir iš (107) seka:

(109)

Šiuo atveju ribinės absoliučios tikimybės nepriklauso nuo pradinių tikimybių.

Ir atvirkščiai, tai gali nepriklausyti nuo to, ar esant (107) formulei, visos matricos eilutės yra identiškos, t.y.

,

ir todėl (pagal 11 teoremą) tai taisyklingoji matrica.

Jei yra primityvi matrica, tada , taigi ir dėl (109)

Priešingai, jei viskas nepriklauso nuo pradinių tikimybių, tai kiekviename matricos stulpelyje visi elementai yra identiški ir pagal (109), o tai pagal 11 teoremą reiškia, kad tai yra primityvi matrica, t.y ši grandinė. yra aciklinis.

Iš to, kas išdėstyta pirmiau, išplaukia, kad 11 teorema gali būti suformuluota taip:

11 teorema". 1. Kad homogeninėje Markovo grandinėje bet kokioms pradinėms tikimybėms egzistuotų visos ribojančios absoliučios tikimybės, būtina ir pakanka, kad grandinė būtų taisyklinga.

2. Kad ribojančios absoliučios tikimybės egzistuotų vienarūšėje Markovo grandinėje bet kokioms pradinėms tikimybėms ir nepriklausytų nuo šių pradinių tikimybių, būtina ir pakanka, kad grandinė būtų taisyklinga.

3. Tam, kad vienalytė Markovo grandinė turėtų teigiamas ribines absoliučias tikimybes bet kurioms pradinėms tikimybėms ir šios ribojančios tikimybės būtų nepriklausomos nuo pradinių, būtina ir pakanka, kad grandinė būtų aciklinė.

5. Dabar panagrinėkime homogeninę bendro tipo Markovo grandinę su perėjimo tikimybių matrica.

Paimkime normaliąją matricos formą (69) ir pažymėkime ją (69) matricų imprimityvumo indeksais. Leisti būti mažiausiai bendras sveikųjų skaičių kartotinis. Tada matrica neturi būdingų skaičių, kurių modulis būtų lygus vienam, bet skiriasi nuo vieno, t.y., tai yra taisyklinga matrica; šiuo atveju – mažiausias rodiklis, prie kurio – teisinga matrica. Skaičiuku vadiname duotosios vienalytės Markovo grandinės periodą ir... Ir atvirkščiai, jei ir , apibrėžtas (110) ir (110") formulėmis.

Vidutinės ribinės absoliučios tikimybės, atitinkančios nesvarbias būsenas, visada yra lygios nuliui.

Jei normalioji matricos forma yra skaičius (ir tik šiuo atveju), vidutinės ribinės absoliučios tikimybės nepriklauso nuo pradinių tikimybių ir yra vienareikšmiškai nustatomos pagal (111) lygtį.