Naključna trajektorija točke kot Markovljev proces. Markovski naključni procesi

Teorija čakalnih vrst je ena od vej teorije verjetnosti. Ta teorija upošteva verjetnostni problemi in matematični modeli (pred tem smo obravnavali deterministične matematične modele). Naj vas spomnimo, da:

Deterministični matematični model odraža obnašanje objekta (sistema, procesa) z vidika popolna gotovost v sedanjosti in prihodnosti.

Probabilistični matematični model upošteva vpliv naključnih dejavnikov na obnašanje objekta (sistema, procesa) in zato ocenjuje prihodnost z vidika verjetnosti določenih dogodkov.

Tisti. tukaj, kot na primer v teoriji iger, se obravnavajo problemi v pogojihnegotovost.

Najprej razmislimo o nekaterih konceptih, ki označujejo "stohastično negotovost", ko so negotovi dejavniki, vključeni v problem, naključne spremenljivke (ali naključne funkcije), verjetnostne značilnosti ki so znani ali pa jih lahko pridobimo iz izkušenj. Takšna negotovost se imenuje tudi "ugodna", "benigna".

Koncept naključnega procesa

Strogo gledano so naključne motnje neločljivo povezane s katerim koli procesom. Lažje je navesti primere naključnega procesa kot "nenaključnega" procesa. Tudi, na primer, proces delovanja ure (zdi se, da gre za strogo kalibrirano delo - "deluje kot ura") je podvržen naključnim spremembam (premikanje naprej, zaostajanje, ustavljanje). Toda dokler so te motnje nepomembne in malo vplivajo na parametre, ki nas zanimajo, jih lahko zanemarimo in obravnavamo proces kot determinističen, nenaključen.

Naj bo kakšen sistem S(tehnična naprava, skupina teh naprav, tehnološki sistem - stroj, delovišče, delavnica, podjetje, industrija itd.). V sistemu S puščanje naključni proces, če skozi čas spreminja stanje (prehaja iz enega stanja v drugo), poleg tega na prej neznan naključni način.

Primeri: 1. Sistem S– tehnološki sistem (strojni del). Stroji se občasno pokvarijo in jih popravijo. Proces, ki poteka v tem sistemu, je naključen.

2. Sistem S- letalo, ki leti na določeni višini po določeni poti. Moteči dejavniki - vremenske razmere, napake posadke ipd., posledice - neravnina, kršitev urnika letenja ipd.

Markovljev naključni proces

Naključni proces ki teče v sistemu se imenuje Markovskega, če za kateri koli trenutek t 0 verjetnostne značilnosti procesa v prihodnosti so odvisne le od njegovega trenutnega stanja t 0 in niso odvisne od tega, kdaj in kako je sistem dosegel to stanje.

Naj bo sistem v določenem stanju v trenutku t 0 S 0 . Poznamo značilnosti stanja sistema v sedanjosti, vse, kar se je zgodilo, ko t<t 0 (zgodovina procesa). Ali lahko napovedujemo (napovedujemo) prihodnost, tj. kaj bo ko t>t 0? Ne ravno, a nekatere verjetnostne značilnosti procesa je mogoče najti v prihodnosti. Na primer, verjetnost, da čez nekaj časa sistem S bom zmogel S 1 ali bo ostal v stanju S 0 itd.

Primer. Sistem S- skupina letal, ki sodelujejo v zračni boj. Pustiti x– število "rdečih" letal, l– število "modrih" letal. Do takrat t 0 število preživelih (nesestreljenih) letal – x 0 ,l 0 . Zanima nas verjetnost, da bo v tem trenutku številčna premoč na strani "rdečih". Ta verjetnost je odvisna od tega, v kakšnem stanju je bil sistem takrat t 0, in ne o tem, kdaj in v kakšnem zaporedju so sestreljeni umrli do trenutka t 0 letal.

V praksi se Markovljevi procesi v čisti obliki običajno ne srečujejo. Toda obstajajo procesi, pri katerih lahko zanemarimo vpliv "prazgodovine". In pri preučevanju takšnih procesov se lahko uporabljajo Markovljevi modeli (teorija čakalnih vrst ne upošteva Markovljevih čakalnih sistemov, vendar je matematični aparat, ki jih opisuje, veliko bolj zapleten).

V operacijskih raziskavah velik pomen imajo markovske naključne procese z diskretnimi stanji in zveznim časom.

Postopek se imenuje proces diskretnega stanjače je možna stanjaS 1 ,S 2, ... je mogoče določiti vnaprej, prehod sistema iz stanja v stanje pa se zgodi "v skoku", skoraj v trenutku.

Postopek se imenuje postopek z neprekinjen čas , če trenutki možnih prehodov iz stanja v stanje niso vnaprej določeni, ampak so negotovi, naključni in se lahko pojavijo kadar koli.

Primer. Tehnološki sistem (odsek) S je sestavljen iz dveh strojev, od katerih lahko vsak odpove (odpove) v naključnem trenutku, po katerem se takoj začne popravilo enote, ki se nadaljuje še neznan, naključni čas. Možna so naslednja stanja sistema:

S 0 - oba stroja delujeta;

S 1 - prvi stroj je v popravilu, drugi deluje;

S 2 - drugi stroj je v popravilu, prvi deluje;

S 3 - oba stroja sta v popravilu.

Sistemski prehodi S iz stanja v stanje se zgodi skoraj takoj, v naključnih trenutkih, ko določen stroj odpove ali je popravilo končano.

Pri analizi naključnih procesov z diskretnimi stanji je priročno uporabiti geometrijsko shemo - graf stanja. Oglišča grafa so stanja sistema. Grafni loki – možni prehodi iz stanja v

Slika 1. Graf stanja sistema

država. Za naš primer je graf stanja prikazan na sliki 1.

Opomba. Prehod iz stanja S 0 in S 3 ni prikazan na sliki, ker predpostavlja se, da stroji odpovejo neodvisno drug od drugega. Zanemarjamo možnost hkratne okvare obeh strojev.

Evolucija katere po kakršnih koli nastavljeno vrednostčasovni parameter t ni odvisen od predhodnega razvoja t, pod pogojem, da je vrednost procesa v tem trenutku fiksna (na kratko: »prihodnost« in »preteklost« procesa nista odvisni druga od druge z znano »sedanjostjo«).

Lastnost, ki določa magnetno polje, se običajno imenuje Markovičan; prvi jo je oblikoval A. A. Markov. Vendar pa je že v delu L. Bachelierja mogoče razbrati poskus interpretacije Brownovega gibanja kot magnetnega procesa, poskus, ki je dobil utemeljitev po raziskavah N. Wienerja (N. Wiener, 1923). Osnove splošna teorija MP z neprekinjenim časom je ustanovil A. N. Kolmogorov.

Markova lastnina. Obstajajo definicije M., ki se med seboj bistveno razlikujejo. Ena najpogostejših je naslednja. Naj naprej verjetnostni prostor kjer je podan naključni proces z vrednostmi iz merljivega prostora T - podnabor prava os Pustiti Nt(oziroma Nt).v njej je s-algebra ki ga generirajo količine X(s).at Kje Z drugimi besedami, Nt(oziroma Nt) je niz dogodkov, povezanih z razvojem procesa do trenutka t (začenši od t) . Proces X(t).se imenuje Markov proces, če (skoraj gotovo) Markovljeva lastnost velja za vse:

ali, kar je enako, če za katero

M. p., za katerega je T v nizu naravna števila, poklical Markova veriga(vendar je zadnji izraz najpogosteje povezan s primerom največ štetnega E) . Če je interval več kot števen, se imenuje M. zvezna Markovljeva veriga. Primeri neprekinjenih magnetnih procesov so difuzijski procesi in procesi z neodvisnimi prirastki, vključno s Poissonovim in Wienerjevim procesom.

V nadaljevanju bomo zaradi določnosti govorili le o primeru, ko Formuli (1) in (2) zagotavljata jasno razlago načela neodvisnosti »preteklosti« in »prihodnosti« z znano »sedanjostjo«, vendar opredelitev M. p., ki temelji na njih, se je izkazala za premalo prilagodljivo v tistih številnih situacijah, ko je treba upoštevati ne enega, ampak niz pogojev tipa (1) ali (2), ki ustrezajo različnim, čeprav dogovorjenim. na določen način so tovrstni premisleki pripeljali do sprejetja naslednja definicija(cm, ).

Naj bo podano naslednje:

a) merljiv prostor, kjer s-algebra vsebuje vse enotočkovne množice v E;

b) merljiv prostor, opremljen z družino s-algeber, tako da če

c) funkcija ("trajektorija") x t =xt(w) , opredelitev za vsako merljivo preslikavo

d) za vsako in verjetnostno mero na s-algebri tako, da je funkcija merljiva glede na če in

Niz imen (neprekinitveni) Markovljev proces, definiran v če -skoraj gotovo

karkoli že so Tukaj je prostor elementarni dogodki, - fazni prostor ali prostor stanj, P( s, x, t, V)- prehodna funkcija ali prehodna verjetnost procesa X(t) . Če je E obdarjen s topologijo in je zbirka Borelovih sklopov E, potem je običajno reči, da je M. p E. Značilno je, da definicija M. p. vključuje zahtevo, da se nato razlaga kot verjetnost, če x s =x.

Postavlja se vprašanje: ali je vsaka markovska prehodna funkcija P( s, x;t, V), dano v merljivem prostoru lahko obravnavamo kot prehodno funkcijo določenega prostora M. Odgovor je pozitiven, če je na primer E ločljiv lokalno kompakten prostor in je zbirka Borelovih množic v. E.Še več, naj E - polna metrika prostor in naj

A - komplement e-soseske točke X. Potem lahko velja, da je ustrezno magnetno polje neprekinjeno na desni in ima meje na levi (to pomeni, da lahko kot take izberemo njegove trajektorije). Obstoj neprekinjenega magnetnega polja je zagotovljen s pogojem pri (glej, ). V teoriji mehanskih procesov je glavna pozornost namenjena procesom, ki so homogeni (časovno). Ustrezna definicija pomeni danem sistemu predmetov a) - d) s to razliko, da je za parametra s in u, ki sta se pojavila v njegovem opisu, zdaj dovoljena samo vrednost 0. Tudi zapis je poenostavljen:

Nadalje je postulirana homogenost prostora W, tj. zahteva se, da za katero koli obstaja tako, da (w) za Zaradi tega na s-algebri N, najmanjša od s-algeber v W, ki vsebuje katerikoli dogodek oblike, so podani operatorji časovnega premika q t, ki ohranjajo operacije združevanja, preseka in odštevanja množic in za katere

Niz imen (neprekinitveni) homogeni Markovljev proces, definiran v če -skoraj gotovo

za Prehodno funkcijo procesa X(t). velja P( t, x, V), razen če ni posebnih zadržkov, dodatno zahtevajo, da Koristno je upoštevati, da pri preverjanju (4) zadostuje, da vedno upoštevamo samo nize oblike kje in kaj v (4) Ft lahko nadomestimo s s-algebro, enaka presečišču dopolnitve Ft za vse možne mere. Pogosto določimo verjetnostno mero m (»začetno porazdelitev«) in upoštevamo Markovljevo naključna funkcija kje je mera na podana z enakostjo

M. p. progresivno merljiva, če za vsak t>0 funkcija inducira merljivo preslikavo v kjer je s-algebra

Borelove podmnožice v . Desni neprekinjeni MP so progresivno merljivi. Obstaja način za zmanjšanje heterogeni primer do homogenih (glej), v prihodnje pa bomo govorili o homogenih M. predmetih.

Strogo markovska last. Naj bo merljiv prostor podan z m.

Funkcija se imenuje Markov trenutek,če za vse V tem primeru je niz razvrščen kot družina F t, če je pri (najpogosteje se F t interpretira kot niz dogodkov, povezanih z razvojem X(t) do trenutka t). Za verjeti

Progresivno merljiv M. p. striktno markovski proces (s.m.p.), če je za kateri koli markovski trenutek m in vse ter razmerje

(strogo Markovljeva lastnost) skoraj zagotovo velja na množici W t. Pri preverjanju (5) je dovolj, da upoštevamo samo množice oblike, kjer je v tem primeru simetrični prostor na primer katerikoli desno zvezni fellerjev dimenzionalni prostor v topologiji. prostora E. M. p. Feller Markov proces, če funkcija

je zvezen, kadar je f zvezen in omejen.

V razredu z. ločimo nekatere podrazrede. Naj bo markovska prehodna funkcija P( t, x, V), definirana v metričnem lokalno kompaktnem prostoru E, stohastično zvezna:

za poljubno okolico U vsake točke. Če operatorji vzamejo vase razred zveznih funkcij, ki izničijo v neskončnosti, potem so funkcije P(. t, x, V) ustreza standardu M. p. X, tj. neprekinjeno na desni z. m.p., za kar

Prekinitev procesa Markov. Pogosto fizično Sisteme je priporočljivo opisati z uporabo neprekinjenega magnetnega polja, vendar le na časovnem intervalu naključne dolžine. Še več, celo enostavne transformacije Poslanci lahko vodijo do procesa z določenimi trajektorijami naključni interval(cm. "Delujoč" iz markovskega procesa). Na podlagi teh premislekov je uveden koncept zlomljenega MP.

Naj bo homogeno magnetno polje v faznem prostoru s prehodno funkcijo in naj obstajata točka in funkcija, tako da za in sicer (če ni posebnih zadržkov, upoštevajte ). Nova pot xt(w) je določen samo za ) z enakostjo a Ft je definiran kot sled v množici

Nastavi, kjer je poklican s končnim Markovovim postopkom (o.m.p.), pridobljenim s prekinitvijo (ali uničenjem) v času z. Vrednost z se imenuje trenutek preloma ali čas življenja, o. tal. Fazni prostor nov postopek služi tam, kjer je sled s-algebre E. Prehodna funkcija o. m.p. omejitev nastavljenega procesa X(t). striktno Markovljev proces ali standardni Markovljev proces, če ustrezno lastnino ima nezlomljivo M. p. s trenutkom preloma Heterogena o. tališče določeno na podoben način. M.

Markovljevi procesi in diferencialne enačbe. Vrsta M. p Brownovo gibanje so tesno povezane s paraboličnimi diferencialnimi enačbami. vrsta. Prehodna gostota p(s, x, t, y) difuzijskega procesa pod nekaterimi dodatnimi predpostavkami zadošča inverzni in neposredni diferencialni enačbi Kolmogorova:

Funkcija p( s, x, t, y).je Greenova funkcija enačb (6) - (7) in prva znane metode Konstrukcija difuzijskih procesov je temeljila na izrekih o obstoju te funkcije za diferencialne enačbe(6) - (7). Za časovno homogeni proces je operator L( s, x)= L(x).on gladke funkcije se ujema z značilnostjo operater M. p. (glej "Polskupina operatorjev prehoda").

matematika pričakovanja različnih funkcionalov iz difuzijskih procesov služijo kot rešitve ustreznih težave z mejno vrednostjo za diferencialno enačbo (1). Naj - matematično. pričakovanje pri meri. Potem funkcija izpolnjuje pri s enačbo (6) in pogoj

Prav tako funkcija

zadovolji z s enačbo

in pogoj in 2 ( T, x) = 0.

Naj bo tt trenutek prvega dosega meje dD regiji trajektorijo procesa Nato pod določenimi pogoji funkcijo

izpolnjuje enačbo

in zavzame vrednosti cp na nizu

Rešitev 1. robnega problema za splošno linearno paraboliko. Enačbe 2. reda

pod dokaj splošnimi predpostavkami lahko zapišemo v obliki

V primeru, ko delujeta operator L in s, f niso odvisni od s, Predstavitev, podobna (9), je možna tudi za reševanje linearne eliptike. enačbe Natančneje, funkcija

pod določenimi predpostavkami obstaja rešitev problema

V primeru, ko se operator L degenerira (del b( s, x) = 0 ).ali obrobo dD ni dovolj "dobra"; funkcije (9), (10) morda ne bodo sprejele na posameznih točkah ali na celih nizih. Koncept pravilne mejne točke za operator L ima verjetnostno razlago. Na pravilnih točkah meje so mejne vrednosti dosežene s funkcijami (9), (10). Reševanje problemov (8), (11) nam omogoča preučevanje lastnosti ustreznih difuzijskih procesov in njihovih funkcionalov.

Obstajajo metode za konstruiranje MP, ki na primer ne temeljijo na konstruiranju rešitev enačb (6), (7). metoda stohastične diferencialne enačbe, absolutno zvezna sprememba mere itd. Ta okoliščina nam skupaj s formulama (9), (10) omogoča verjetnostno konstruiranje in proučevanje lastnosti robnih problemov za enačbo (8), kot tudi lastnosti rešitve ustrezno elipso. enačbe

Ker je rešitev stohastične diferencialne enačbe neobčutljiva na degeneracijo matrike b( s, x), To verjetnostne metode so bili uporabljeni za konstruiranje rešitev degeneriranih eliptičnih in paraboličnih diferencialnih enačb. Razširitev načela povprečenja N. M. Krylova in N. N. Bogolyubova na stohastične diferencialne enačbe je z uporabo (9) omogočila pridobitev ustreznih rezultatov za eliptične in parabolične diferencialne enačbe. nekaj težke naloge Izkazalo se je, da je študije lastnosti rešitev tovrstnih enačb z majhnim parametrom pri najvišjem odvodu mogoče rešiti z uporabo verjetnostnih premislekov. Tudi rešitev 2. robnega problema za enačbo (6) ima verjetnostni pomen. Formulacija problemov mejne vrednosti za neomejeno domeno je tesno povezana s ponavljanjem ustreznega difuzijskega procesa.

V primeru časovno homogenega procesa (L ni odvisen od s) pozitivna rešitev enačbe do multiplikativne konstante ob določenih predpostavkah sovpada z stacionarna gostota verjetnostni premisleki se izkažejo za uporabne tudi pri obravnavi robnih problemov za nelinearne parabolike. enačbe. R. 3. Hasminski.

Lit.: Markov A. A., "Izvestia. Fizikalno-matematično društvo Kazanske univerze", 1906, letnik 15, št. 4, str. 135-56; V a s h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, str. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; rus. prev. - "Uspekhi Matematicheskikh Nauk", 1938, stoletje. 5, str. 5-41; Zhun Kai-lai, Homogene Markovljeve verige, trans. iz angleščine, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, str. 417-36; Dynkin E.B., Juškevič A.A., " Teorija je verjetna. in njegove aplikacije.", 1956, zv. 1, v. 1, str. 149-55; X in t J.-A., Markovljevi procesi in potenciali, prevedeno iz angleščine, M., 1962; D e L la sher in K., Zmogljivosti in naključni procesi, francoski, 1975 Dynkin E. V., Temelji teorije. Markovi procesi, M., 1959; njegov, Markovski procesi, M., 1963; G in h man I. I., S k o r o x o d A. V., Teorija naključnih procesov, letnik 2, M., 1973; Freidlin M.I., v knjigi: Rezultati znanosti. teorija verjetnosti, matematična statistika. - Teoretična kibernetika. 1966, M., 1967, str. 7-58; X as minskiy R. 3., “Teorija verjetnosti in njene aplikacije,” 1963, letnik 8, v . 1, str. 3-25; Ventzel A.D., Freidlin M.I., Nihanja v dinamični sistemi pod vplivom majhnih naključnih motenj, M., 1979; Blumenthal R. M., G e t o r R. K., Markovljevi procesi in potencialna teorija, N. Y.-L., 1968; Getоor R. K., Markovljevi procesi: Žarkovni procesi in desni procesi, V., 1975; Kuznetsov S. E., "Teorija verjetnosti in njene aplikacije", 1980, letnik 25, stoletje. 2, str. 389-93.

Spodaj naključni proces razumeti časovno spremembo stanj nekega fizičnega sistema na prej neznan naključen način. pri čemer Spodaj fizični sistem bomo razumeli katera koli tehnična naprava, skupina naprav, podjetje, industrija, biološki sistem itd.

Naključni proces ki teče v sistemu se imenuje Markovskega – če za kateri koli trenutek, verjetnostne značilnosti procesa v prihodnosti (t > ) odvisna le od njegovega stanja v ta trenutekčas ( prisoten ) in niso odvisne od tega, kdaj in kako je sistem prišel v to stanje v preteklosti .(Na primer Geigerjev števec, ki beleži število kozmičnih delcev).

Markovske procese običajno delimo na 3 vrste:

1. Markova veriga – proces, katerega stanja so diskretna (t.j. lahko jih preštevilčimo), diskreten pa je tudi čas, po katerem se ga upošteva (t.j. proces lahko spremeni svoja stanja le v določenih časovnih točkah). Takšen proces poteka (spreminja) po korakih (z drugimi besedami, v ciklih).

2. Diskretni Markovljev proces – množica stanj je diskretna (lahko jih naštejemo), čas pa zvezen (prehod iz enega stanja v drugo – kadarkoli).

3. Neprekinjen Markovljev proces – niz stanj in čas sta zvezna.

V praksi se Markovljevi procesi v čisti obliki ne srečujejo pogosto. Pogosto pa se je treba ukvarjati s procesi, pri katerih lahko zanemarimo vpliv prazgodovine. Poleg tega, če so vsi parametri iz "preteklosti", od katerih je odvisna "prihodnost", vključeni v stanje sistema v "sedanjosti", potem se lahko šteje tudi za Markov. Vendar pa to pogosto vodi do znatnega povečanja števila upoštevanih spremenljivk in nezmožnosti iskanja rešitve problema.

Pri operacijskih raziskavah je t.i Markovski naključni procesi z diskretnimi stanji in zveznim časom.

Postopek se imenuje proces z diskretnimi stanji, če je mogoče vsa njegova možna stanja , ,... vnaprej našteti (preštevilčiti). Sistem prehaja iz stanja v stanje skoraj v trenutku – v skoku.

Postopek se imenuje neprekinjen časovni proces, če lahko trenutki prehoda iz stanja v stanje trajajo naključne vrednosti na časovni osi.

Na primer : Tehnična naprava S je sestavljen iz dveh vozlišč , od katerih lahko vsak odpove ob naključnem času ( zavrniti). Po tem se takoj začne popravilo enote ( obnovitev), ki se nadaljuje naključno določen čas.

Možna so naslednja stanja sistema:

Obe vozlišči delujeta;

Prvi agregat je v popravilu, drugi deluje.

– druga enota je v popravilu, prva deluje

Obe enoti sta v popravilu.

Prehod sistema iz stanja v stanje se zgodi v naključni trenutki skoraj takoj. Stanja sistema in povezave med njimi je mogoče priročno prikazati z uporabo graf stanja .

države

Prehodi

Prehodov ni, ker okvare in obnove elementov se pojavljajo neodvisno in naključno, verjetnost hkratne okvare (okrevanja) dveh elementov pa je neskončno majhna in jo lahko zanemarimo.

Če vsi tokovi dogodkov prenašajo sistem S od države do države – praživali, To proces, teče v takem sistemu bo Markovski. To je posledica dejstva, da najpreprostejši tok nima naknadnega učinka, tj. v njej »prihodnost« ni odvisna od »preteklosti«, poleg tega pa ima lastnost navadnosti - verjetnost hkratnega nastopa dveh ali več dogodkov je neskončno majhna, torej prehod iz stanja v stanje brez prehoda skozi več vmesnih stanj ni mogoče.

Zaradi jasnosti je na grafu stanja priročno navesti pri vsaki puščici prehoda intenzivnost toka dogodkov, ki prenaša sistem iz stanja v stanje vzdolž dane puščice ( -intenzivnost toka dogodkov, ki prenaša sistem iz stanja V. Tak graf se imenuje označeno.

Z uporabo označenega grafa stanja sistema lahko zgradite matematični model tega procesa.

Oglejmo si prehode sistema iz določenega stanja v prejšnje ali naslednje. Delček grafa stanja bo v tem primeru videti takole:

Pustite sistem v trenutku t je v stanju.

Označimo (t)- verjetnost i-tega stanja sistema– verjetnost, da sistem v trenutku t je v stanju. Za kateri koli čas t velja =1.

Določimo verjetnost, da v trenutku t+∆t sistem bo v. To je lahko v naslednjih primerih:

1) in ga v času ∆ t ni zapustil. To pomeni, da v času ∆t ni nastala dogodek, ki sistem prenese v stanje (pretok z intenzivnostjo) ali dogodek, ki ga prenese v stanje (pretok z intenzivnostjo). Določimo verjetnost tega pri majhnih ∆t.

pri eksponentni zakon porazdelitev časa med dvema sosednjima zahtevama, ki ustreza najenostavnejšemu toku dogodkov, verjetnost, da se v časovnem intervalu ∆t ne pojavi niti ena zahteva v toku z intenzivnostjo λ 1 bo enakovreden

Z razširitvijo funkcije f(t) v Taylorjev niz (t>0) dobimo (za t=∆t)

f(∆t)=f(0)+ (0)* ∆t + *∆ + *∆ +…=

= +(-l) *∆t+ (∆ + *(∆ +..." 1-l*∆t pri ∆t®0

Podobno za tok z intenziteto λ 2 dobimo .

Verjetnost, da v časovnem intervalu ∆t (pri ∆t®0) ne bo nobene zahteve bodo enake

(∆t)/ = (∆t/ * (∆t/ = (1- *∆t)(1- *∆t) =

1 - - *∆t + 1 - ( + )*∆t + b.m.

Tako bo verjetnost, da sistem v času ∆t ni zapustil stanja, enaka

P( / )=1 – ( + )* ∆t

2) Sistem je bil v stanju S i -1 in za čas prešel v stanje S i . To pomeni, da se je v toku zgodil vsaj en dogodek z intenzivnostjo. Verjetnost za to je enaka za najenostavnejši tok z intenzivnostjo λ volja

Za naš primer bo verjetnost takega prehoda enaka

3)Sistem je bil v stanju in v času ∆t prešel v stanje . Verjetnost tega bo

Potem je verjetnost, da bo sistem v času (t+∆t) v stanju S i enaka

Odštejmo P i (t) z obeh strani, delimo z ∆t in ob prehodu na mejo pri ∆t→0 dobimo

Če zamenjamo ustrezne vrednosti intenzivnosti prehodov iz stanj v stanja, dobimo sistem diferencialnih enačb, ki opisujejo spremembo verjetnosti stanj sistema kot funkcije časa.

Te enačbe imenujemo enačbe Kolmogorov-Chapman za diskretni Markovljev proces.

Ob vprašanju začetni pogoji(npr. P 0 (t=0)=1,P i (t=0)=0 i≠0) in ko jih rešimo, dobimo izraze za verjetnosti stanja sistema kot funkcije časa. Analitične rešitve je precej enostavno dobiti, če je število enačb ≤ 2,3. Če jih je več, se enačbe običajno rešujejo numerično na računalniku (npr. po metodi Runge-Kutta).

V teoriji naključnih procesov dokazano , Kaj če je številka n stanja sistema Vsekakor in iz vsakega od njih je možno (za končna številka korake) pojdite na katero koli drugo, potem je meja , h kateremu se nagibajo verjetnosti, ko t→ . Takšne verjetnosti se imenujejo končne verjetnosti stanja, stabilno stanje pa je stacionarni način delovanje sistema.

Ker je v stacionarnem načinu vse , torej vse =0. Če leve strani sistema enačb izenačimo z 0 in jih dopolnimo z enačbo =1, dobimo linearni sistem algebraične enačbe, z reševanjem katerega bomo našli vrednosti končnih verjetnosti.

Primer. Naj bodo stopnje napak in stopnje obnovitve elementov v našem sistemu naslednje:

Neuspehi 1el:

2el:

Popravilo 1el:

2el:

P 0 +P 1 +P 2 +P 3 =1

0=-(1+2)P 0 +2P 1 +3 P 2

0=-(2+2)P 1 +1P 0 +3P 3

0=-(1+3)P 2 +2P 0 +2P 3

0=-(2+3)P 3 +2P 1 +1P 2

Ko se je odločil ta sistem, dobimo

P 0 =6/15=0,4; P 1 =3/15=0,2; P 2 =4/15=0,27; P 3 =2/15≈0,13.

Tisti. V stacionarno stanje sistem v povprečju

40 % je v stanju S 0 (obe vozlišči delujeta),

20% - v stanju S 1 (1. agregat je v popravilu, 2. deluje),

27% - v stanju S 2 (2. elektroagregat v popravilu, 1. v delujočem stanju),

13% - v stanju S 3 - obe enoti sta v popravilu.

Poznavanje končnih verjetnosti omogoča ocenite povprečno učinkovitost sistema in obremenitev servisne službe.

Naj sistem v stanju S 0 ustvari dohodek v višini 8 konvencionalnih enot. na časovno enoto; v stanju S 1 - dohodek 3 konvencionalne enote; v stanju S 2 - dohodek 5; v stanju S 3 - dohodek = 0

Cena popravila na časovno enoto za element 1- 1(S 1, S 3) pogojni enoti, element 2- (S 2, S 3) 2 pogojni enoti. Nato v stacionarnem načinu:

Sistemski dohodek na časovno enoto bo:

W ext =8P 0 +3P 1 +5P 2 +0P 3 =8·0,4+3·0,2+5·0,27+0·0,13=5,15 konvencionalnih enot.

Stroški popravila v enotah čas:

W rem =0P 0 +1P 1 +2P 2 +(1+2)P 3 =0·0,4+1·0,2+2·0,27+3·0,13=1,39 konvencionalnih enot.

Dobiček na časovno enoto

W= W izdih -W popravilo =5,15-1,39= 3,76 konvencionalne enote

Z porabo določenih stroškov lahko spremenite intenzivnosti λ in μ ter s tem učinkovitost sistema. Izvedljivost takšnih stroškov lahko ocenimo s ponovnim izračunom P i . in indikatorji delovanja sistema.

Razvoj tega po kateri koli dani vrednosti časovnega parametra t (\displaystyle t) ni odvisno iz evolucije, ki je bila pred tem t (\displaystyle t), pod pogojem, da je vrednost procesa v tem trenutku fiksna (»prihodnost« procesa ni odvisna od »preteklosti« z znano »sedanjostjo«; druga razlaga (Wentzel): »prihodnost« procesa je odvisna od na »preteklost« le skozi »sedanjost«).

Enciklopedični YouTube

1 / 3

✪ Predavanje 15: Markovski naključni procesi

✪ Izvor markovskih verig

✪ Posplošen model Markovskega procesa

Podnapisi

Zgodba

Lastnost, ki opredeljuje Markovljev proces, se običajno imenuje markovski; prvi ga je oblikoval A. A. Markov, ki je v delih leta 1907 začel preučevati zaporedja odvisnih testov in z njimi povezane vsote naključne spremenljivke. Ta smer raziskav je znana kot teorija Markovljevih verig.

Osnove splošne teorije markovskih procesov v zveznem času je postavil Kolmogorov.

Markova lastnina

Splošni primer

Pustiti (Ω , F , P) (\displaystyle (\Omega ,(\mathcal (F)),\mathbb (P)))- verjetnostni prostor s filtriranjem (F t , t ∈ T) (\displaystyle ((\mathcal (F))_(t),\ t\in T)) nad nekim (delno urejenim) nizom T (\displaystyle T); naj gre (S , S) (\displaystyle (S,(\mathcal (S))))- merljiv prostor. Naključni proces X = (X t , t ∈ T) (\displaystyle X=(X_(t),\ t\in T)), definiran na filtriranem verjetnostnem prostoru, se šteje, da izpolnjuje Markova lastnina, če za vsako A ∈ S (\displaystyle A\in (\mathcal (S))) in s , t ∈ T: s< t {\displaystyle s,t\in T:s,

Markov proces je naključen proces, ki zadovoljuje Markova lastnina z naravno filtracijo.

Za markovske verige z diskretnim časom

če S (\displaystyle S) je diskretna množica in T = N (\displaystyle T=\mathbb (N) ), lahko definicijo preoblikujemo:

Primer markovskega procesa

Oglejmo si preprost primer Markovskega naključnega procesa. Točka se naključno premika vzdolž abscisne osi. V času nič je točka v izhodišču in tam ostane eno sekundo. Po sekundi se vrže kovanec - če pade grb, se točka X premakne za eno dolžinsko enoto v desno, če je številka - v levo. Sekundo kasneje se kovanec ponovno vrže in izvede enako naključno gibanje itd. Proces spreminjanja položaja točke (»hoja«) je naključen proces z diskretnim časom (t=0, 1, 2, ...) in štetno množico stanj. Takšen naključni proces imenujemo Markov, saj je naslednje stanje točke odvisno samo od sedanjega (trenutnega) stanja in ni odvisno od preteklih stanj (ni pomembno, po kateri poti in za koliko časa je točka prišla na trenutno koordinato) .

Markovske procese so znanstveniki izpeljali leta 1907. Vodilni matematiki tistega časa so razvili to teorijo, nekateri jo še izboljšujejo. Ta sistem se širi tudi na druga znanstvena področja. Praktične Markovljeve verige se uporabljajo na različnih področjih, kjer mora biti človek v stanju pričakovanja. Če pa želite jasno razumeti sistem, morate poznati pogoje in določbe. Glavni dejavnik, ki določa Markovljev proces, se šteje za naključnost. Res je, da ni podoben konceptu negotovosti. Ima določene pogoje in spremenljivke.

Značilnosti faktorja naključnosti

Ta pogoj je podvržen statični stabilnosti, natančneje njenim zakonitostim, ki se pri negotovosti ne upoštevajo. Po drugi strani pa to merilo omogoča uporabo matematičnih metod v teoriji markovskih procesov, kot je opozoril znanstvenik, ki je preučeval dinamiko verjetnosti. Delo, ki ga je ustvaril, se je neposredno ukvarjalo s temi spremenljivkami. Po drugi strani preučen in razvit naključni proces, ki ima pojma stanja in prehoda in se uporablja tudi v stohastičnih in matematičnih problemih, omogoča delovanje teh modelov. Med drugim omogoča izpopolnjevanje drugih pomembnih uporabnih teoretičnih in praktičnih ved:

• difuzijska teorija;
• teorija čakalnih vrst;
• teorija zanesljivosti in drugo;
• kemija;
• fizika;
• Mehanika.

Bistvene značilnosti nenačrtovanega dejavnika

Ta Markovljev proces je določen z naključno funkcijo, kar pomeni, da se vsaka vrednost argumenta šteje za dano vrednost ali tisto, ki ima vnaprej pripravljeno obliko. Primeri vključujejo:

• vibracije v tokokrogu;
• hitrost gibanja;
• hrapavost površine na določenem območju.

Prav tako je splošno sprejeto, da je dejstvo naključne funkcije čas, to pomeni, da pride do indeksiranja. Klasifikacija ima obliko stanja in argumenta. Ta proces je lahko z diskretnimi in zveznimi stanji ali časom. Poleg tega so primeri različni: vse se zgodi v eni ali drugi obliki ali hkrati.

Podrobna analiza koncepta naključnosti

Precej težko je bilo sestaviti matematični model s potrebnimi kazalniki uspešnosti v eksplicitni analitični obliki. V prihodnosti je to nalogo postalo mogoče izvesti, ker se je pojavil Markovljev naključni proces. Če podrobno analiziramo ta koncept, je treba izpeljati izrek. Markovljev proces je fizični sistem, ki je spremenil svoj položaj in stanje, ki ni bilo vnaprej programirano. Tako se izkaže, da se v njem dogaja naključen proces. Na primer: vesoljska orbita in ladja, ki je izstreljena vanjo. Rezultat je bil dosežen le zaradi nekaterih netočnosti in prilagoditev; brez tega se navedeni način ne bi izvajal. Za večino tekočih procesov sta značilni naključnost in negotovost.

Pravzaprav bo skoraj vsaka možnost, ki jo je mogoče upoštevati, podvržena temu dejavniku. Letalo, tehnična naprava, jedilnica, ura - vse to je predmet naključnih sprememb. Poleg tega je ta funkcija neločljivo povezana s katerim koli tekočim procesom v resničnem svetu. Dokler pa to ne zadeva individualno konfiguriranih parametrov, se pojavljajoče motnje zaznavajo kot deterministične.

Koncept Markovskega naključnega procesa

Zasnova katere koli tehnične ali mehanske naprave sili ustvarjalca k upoštevanju različnih dejavnikov, zlasti negotovosti. Izračun naključnih nihanj in motenj nastane v trenutku osebnega interesa, na primer pri implementaciji avtopilota. Nekateri procesi, ki jih proučujejo v znanostih, kot sta fizika in mehanika, so takšni.

Toda posvetiti jim pozornost in opraviti temeljito raziskavo je treba začeti v trenutku, ko je to takoj potrebno. Markovljev naključni proces ima naslednjo definicijo: verjetnostna značilnost bodočega tipa je odvisna od stanja, v katerem je v danem trenutku, in nima nobene povezave s tem, kako je sistem izgledal. Torej ta koncept nakazuje, da je rezultat mogoče predvideti, pri čemer je treba upoštevati le verjetnost in pozabiti na ozadje.

Podrobna razlaga koncepta

Trenutno je sistem v nekem stanju, prehaja in se spreminja in v bistvu je nemogoče napovedati, kaj se bo zgodilo naprej. Toda glede na verjetnost lahko rečemo, da se bo proces zaključil v določeni obliki ali pa bo ohranil prejšnjo. To pomeni, da prihodnost izhaja iz sedanjosti, pri čemer se pozabi na preteklost. Ko sistem ali proces preide v novo stanje, je zgodovina običajno izpuščena. Verjetnost igra pomembno vlogo v Markovljevih procesih.

Na primer, Geigerjev števec prikazuje število delcev, ki je odvisno od določenega indikatorja in ne od točnega trenutka, ko je prispel. Glavno merilo pri tem je zgornje merilo. V praktičnih aplikacijah je mogoče upoštevati ne samo markovske procese, ampak tudi podobne, na primer: letala sodelujejo v sistemskem boju, od katerih je vsak označen z določeno barvo. V tem primeru je glavno merilo spet verjetnost. Na kateri točki bo številčna prednost in kakšna barva, ni znano. To pomeni, da je ta dejavnik odvisen od stanja sistema in ne od zaporedja smrti letal.

Strukturna analiza procesov

Markovljev proces je vsako stanje sistema brez verjetnostnih posledic in brez upoštevanja prejšnje zgodovine. To je, če vključite prihodnost v sedanjost in izpustite preteklost. Prenasičenost danega časa s prazgodovino bo vodila v večdimenzionalnost in povzročila zapletene konstrukcije verig. Zato je bolje preučevati te sisteme z uporabo preprostih vezij z minimalnimi numeričnimi parametri. Posledično se te spremenljivke obravnavajo kot odločilne in pogojene z nekaterimi dejavniki.

Primer markovskih procesov: delujoča tehnična naprava, ki je v tistem trenutku brezhibna. V tem stanju je zanimiva verjetnost, da bo naprava še dolgo delovala. Če pa opremo dojemamo kot razhroščeno, potem ta možnost ne bo več pripadala obravnavanemu procesu, ker ni podatkov o tem, kako dolgo je naprava prej delovala in ali so bila opravljena popravila. Če pa ti dve časovni spremenljivki dopolnimo in ju vključimo v sistem, lahko njegovo stanje pripišemo Markovianu.

Opis diskretnega stanja in kontinuitete časa

Modeli Markovskega procesa se uporabljajo v času, ko je treba zanemariti prazgodovino. Za raziskovanje v praksi se najpogosteje srečujemo z diskretnimi, zveznimi stanji. Primeri takšne situacije so: struktura opreme vključuje komponente, ki v pogojih delovanja lahko odpovejo, in to se zgodi kot nenačrtovano, naključno dejanje. Posledično je stanje sistema podvrženo popravilu enega ali drugega elementa, v tem trenutku bo eden od njih deloval ali pa bosta oba razhroščena ali obratno, popolnoma prilagojena.

Diskretni Markovljev proces temelji na teoriji verjetnosti in je tudi prehod sistema iz enega stanja v drugo. Poleg tega se ta dejavnik pojavi takoj, tudi če pride do nenamernih okvar in popravil. Za analizo takega procesa je bolje uporabiti grafe stanj, to je geometrijske diagrame. Stanja sistema so v tem primeru označena z različnimi številkami: trikotniki, pravokotniki, pike, puščice.

Modeliranje tega procesa

Markovljevi procesi z diskretnimi stanji so možne spremembe sistemov kot posledica prehoda, ki se pojavi v trenutku in ki ga je mogoče oštevilčiti. Na primer, lahko zgradite graf stanja iz puščic za vozlišča, kjer bo vsaka označevala pot različno usmerjenih dejavnikov okvare, obratovalnega stanja itd. V prihodnosti se lahko pojavijo kakršna koli vprašanja: na primer, da niso vsi geometrijski elementi usmerite v pravo smer, saj se lahko v procesu poslabša vsako vozlišče. Pri delu je pomembno upoštevati kratke stike.

Markovljev proces v neprekinjenem času se zgodi, ko podatki niso določeni vnaprej, se zgodi naključno. Prehodi so bili prej nenačrtovani in so se zgodili v sunkih, kadar koli. Tukaj spet igra verjetnost pomembno vlogo. Če pa se trenutna situacija nanaša na zgoraj navedeno, bo treba razviti matematični model za opis, vendar je pomembno razumeti teorijo možnosti.

Verjetnostne teorije

Te teorije obravnavajo verjetnostne matematične probleme, ki imajo značilne lastnosti, kot so naključni vrstni red, gibanje in dejavniki, namesto determinističnih, ki so gotovi tu in tam. Nadzorovani Markovljev proces ima faktor možnosti in temelji na njem. Poleg tega je ta sistem sposoben takojšnjega prehoda v katero koli stanje pod različnimi pogoji in časovnimi intervali.

Za uporabo te teorije v praksi je potrebno imeti pomembno znanje o verjetnosti in njeni uporabi. V večini primerov so vsi v stanju pričakovanja, kar je v splošnem smislu obravnavana teorija.

Primeri teorije verjetnosti

Primeri Markovljevih procesov v tej situaciji vključujejo:

• kavarna;
• blagajne za vstopnice;
• servisne delavnice;
• postaje za različne namene itd.

S tem sistemom se ljudje danes praviloma srečujemo vsak dan; V objektih, kjer je tovrstna storitev na voljo, je možno zahtevati različne zahteve, ki se jim v postopku ugodi.

Skriti modeli procesov

Takšni modeli so statični in kopirajo delovanje izvirnega procesa. V tem primeru je glavna značilnost funkcija spremljanja neznanih parametrov, ki jih je treba rešiti. Posledično se ti elementi lahko uporabljajo v analizi, praksi ali za prepoznavanje različnih predmetov. Konvencionalni Markovljevi procesi temeljijo na vidnih prehodih in verjetnosti; v skritem modelu se opazujejo samo neznane spremenljivke, na katere vpliva stanje.

Bistveno razkritje skritih markovskih modelov

Ima tudi porazdelitev verjetnosti med drugimi vrednostmi, zaradi česar bo raziskovalec videl zaporedje simbolov in stanj. Vsako dejanje ima porazdelitev verjetnosti med drugimi vrednostmi, zato skriti model zagotavlja informacije o ustvarjenih zaporednih stanjih. Prvi zapiski in omembe o njih so se pojavili v poznih šestdesetih letih prejšnjega stoletja.

Nato so jih začeli uporabljati za prepoznavanje govora in kot analizatorje bioloških podatkov. Poleg tega so se skriti modeli razširili na pisanje, gibanje in računalništvo. Tudi ti elementi posnemajo delovanje glavnega procesa in ostajajo statični, kljub temu pa je veliko več posebnosti. To dejstvo zadeva predvsem neposredno opazovanje in ustvarjanje zaporedja.

Stacionarni Markovljev proces

Ta pogoj obstaja za homogeno prehodno funkcijo, pa tudi za stacionarno porazdelitev, ki velja za glavno in po definiciji naključno dejanje. Fazni prostor za dani proces je končna množica, vendar v tem stanju vedno obstaja začetna diferenciacija. Prehodne verjetnosti v tem procesu so upoštevane glede na časovne pogoje ali dodatne elemente.

Podrobna študija markovskih modelov in procesov razkriva problematiko zadovoljevanja ravnovesja na različnih področjih življenja in delovanja družbe. Glede na to, da ta industrija vpliva na znanost in množične storitve, je stanje mogoče popraviti z analizo in napovedovanjem izida kakršnih koli dogodkov ali dejanj istih okvarjenih ur ali opreme. Da bi v celoti izkoristili zmožnosti procesa Markov, jih je vredno podrobno razumeti. Navsezadnje je ta naprava našla široko uporabo ne le v znanosti, ampak tudi v igrah. Ta sistem v svoji čisti obliki običajno ni upoštevan, in če se uporablja, je le na podlagi zgoraj omenjenih modelov in diagramov.