Markov süreci olarak bir noktanın rastgele yörüngesi. Markov rastgele süreçleri

Kuyruk teorisi olasılık teorisinin dallarından biridir. Bu teori dikkate alır olasılıksal problemler ve matematiksel modeller (bundan önce deterministik matematiksel modelleri değerlendirdik). Şunu hatırlatalım:

Deterministik matematiksel model Bir nesnenin (sistem, süreç) davranışını perspektiften yansıtır tam kesinlikşimdiki zamanda ve gelecekte.

Olasılıksal matematiksel model Rastgele faktörlerin bir nesnenin (sistem, süreç) davranışı üzerindeki etkisini dikkate alır ve bu nedenle geleceği belirli olayların olasılığı açısından değerlendirir.

Onlar. burada, örneğin oyun teorisindeki problemler dikkate alındığı için koşullar altındabelirsizlik.

Sorunun içerdiği belirsiz faktörler rastgele değişkenler (veya rastgele fonksiyonlar) olduğunda, öncelikle "stokastik belirsizliği" karakterize eden bazı kavramları ele alalım, olasılıksal özellikler Bunlar ya bilinir ya da deneyimlerden elde edilebilir. Bu belirsizliğe “olumlu”, “iyi huylu” da denilmektedir.

Rastgele süreç kavramı

Kesin olarak konuşursak, rastgele rahatsızlıklar herhangi bir sürecin doğasında vardır. Rastgele bir sürece örnek vermek “rastgele olmayan” bir sürece göre daha kolaydır. Örneğin, bir saati çalıştırma süreci bile (kesinlikle kalibre edilmiş bir çalışma gibi görünüyor - "saat gibi çalışır") rastgele değişikliklere tabidir (ileri gitme, geride kalma, durma). Ancak bu bozulmalar önemsiz olduğu ve bizi ilgilendiren parametreler üzerinde çok az etkisi olduğu sürece, onları ihmal edebilir ve süreci deterministik, rastgele olmayan bir süreç olarak değerlendirebiliriz.

Bir sistem olsun S(teknik cihaz, bu tür cihazların grubu, teknolojik sistem - makine, saha, atölye, işletme, sanayi vb.). Sistemde S sızıntılar rastgele süreç, eğer zaman içinde durumunu değiştirirse (bir durumdan diğerine geçerse), üstelik daha önce bilinmeyen rastgele bir şekilde.

Örnekler: 1. Sistem S– teknolojik sistem (makine bölümü). Makineler zaman zaman arızalanıp tamir edilmektedir. Bu sistemde gerçekleşen süreç rastgeledir.

2. Sistem S- Belirli bir rota boyunca belirli bir yükseklikte uçan bir uçak. Rahatsız edici faktörler - hava koşulları, mürettebat hataları vb., sonuçlar - inişli çıkışlılık, uçuş programının ihlali vb.

Markov rastgele süreci

Rastgele süreç Sistemdeki akışa denir Markovski eğer herhangi bir an için T 0 Bir sürecin gelecekteki olasılıksal özellikleri yalnızca o andaki durumuna bağlıdır T 0 ve sistemin bu duruma ne zaman ve nasıl ulaştığına bağlı değildir.

Sistemin şu anda belirli bir durumda olmasına izin verin t 0 S 0. Sistemin şu andaki durumunun özelliklerini, o dönemde olup biten her şeyi biliyoruz. T<T 0 (işlem geçmişi). Geleceği tahmin edebilir miyiz (tahmin edebilir miyiz), yani. ne zaman olacak T>T 0 mı? Tam olarak değil ama sürecin bazı olasılıksal özellikleri gelecekte bulunabilir. Örneğin, bir süre sonra sistemin kapanma olasılığı S mümkün olacak S 1 veya durumunda kalacak S 0 vb.

Örnek. Sistem S- katılan bir grup uçak hava muharebesi. İzin vermek X– “kırmızı” uçakların sayısı, sen– “mavi” uçağın sayısı. Zamana kadar T Sırasıyla 0 hayatta kalan (düşülmemiş) uçak sayısı - X 0 ,sen 0. Şu anda sayısal üstünlüğün “kırmızıların” tarafında olacağı ihtimaliyle ilgileniyoruz. Bu olasılık sistemin o sırada hangi durumda olduğuna bağlıdır T 0, ve şu ana kadar vurulanların ne zaman ve hangi sırayla öldüğü hakkında değil T 0 uçak.

Pratikte Markov süreçlerine saf haliyle genellikle rastlanmaz. Ancak "tarih öncesi" etkisinin göz ardı edilebileceği süreçler de var. Ve bu tür süreçleri incelerken Markov modelleri kullanılabilir (kuyruk teorisi Markov kuyruk sistemlerini dikkate almaz, ancak bunları tanımlayan matematiksel aparat çok daha karmaşıktır).

Yöneylem araştırmasında büyük değer ayrık durumlara ve sürekli zamana sahip Markov rastgele süreçleri var.

Süreç denir ayrık durum süreci eğer öyleyse olası durumlarS 1 ,S 2, ... önceden belirlenebilir ve sistemin durumdan duruma geçişi neredeyse anında "bir sıçramayla" gerçekleşir.

Süreç denir ile işlem yapmak sürekli zaman Bir durumdan diğerine olası geçişlerin anları önceden sabitlenmemiş, ancak belirsiz, rastgele ve her an gerçekleşebiliyorsa.

Örnek. Teknolojik sistem (bölüm) S her biri rastgele bir anda arızalanabilen (arızalanabilen) iki makineden oluşur, ardından ünitenin onarımı hemen başlar ve bu da bilinmeyen, rastgele bir süre boyunca devam eder. Aşağıdaki sistem durumları mümkündür:

S 0 - her iki makine de çalışıyor;

S 1 - ilk makine tamir ediliyor, ikincisi çalışıyor;

S 2 - ikinci makine tamir ediliyor, birincisi çalışıyor;

S 3 - her iki makine de onarılıyor.

Sistem geçişleri S Belirli bir makine arızalandığında veya bir onarım tamamlandığında, durumdan duruma geçiş neredeyse anında, rastgele anlarda gerçekleşir.

Ayrık durumlarla rastgele süreçleri analiz ederken geometrik bir şema kullanmak uygundur - durum grafiği. Grafiğin köşeleri sistemin durumlarıdır. Grafik yayları – durumdan duruma olası geçişler

Şekil 1. Sistem durumu grafiği

durum. Örneğimiz için durum grafiği Şekil 1'de gösterilmektedir.

Not. Eyaletten geçiş S 0 inç SŞekilde 3 gösterilmemiştir çünkü makinelerin birbirinden bağımsız olarak arızalandığı varsayılmaktadır. Her iki makinenin aynı anda arızalanma olasılığını ihmal ediyoruz.

Bundan sonra evrimi değeri belirle zaman parametresi t önceki evrime bağlı değildir T, sürecin şu andaki değerinin sabit olması şartıyla (kısacası: sürecin “geleceği” ve “geçmişi” bilinen bir “şimdi” ile birbirine bağlı değildir).

Manyetik alanı tanımlayan özelliğe genellikle denir. Markovian; ilk olarak A. A. Markov tarafından formüle edildi. Bununla birlikte, L. Bachelier'in çalışmasında, Brown hareketini manyetik bir süreç olarak yorumlama girişimini fark etmek mümkündür; bu girişim, N. Wiener'in (N. Wiener, 1923) araştırmasından sonra gerekçelendirilmiştir. Temel bilgiler genel teori Sürekli zamanlı milletvekilleri A. N. Kolmogorov tarafından kuruldu.

Markov'un mülkü. M.'nin birbirinden önemli ölçüde farklı tanımları vardır. En yaygın olanlardan biri şudur. Hadi olasılık alanıölçülebilir bir uzaydan gelen değerlere sahip rastgele bir süreç verilir; burada T - alt küme gerçek eksenİzin vermek NT(sırasıyla NT).içinde bir s-cebiri var X(s).at miktarları tarafından üretilir Nerede Başka bir deyişle, NT(sırasıyla NT) t anına kadar (t'den başlayarak) sürecin gelişimiyle ilişkili bir dizi olaydır. . Süreç X(t). denir Markov özelliği (neredeyse kesinlikle) herkes için geçerliyse Markov süreci:

veya herhangi biri için aynı şey nedir?

M. p., T'nin sette yer aldığı doğal sayılar, isminde Markov zinciri(ancak ikinci terim çoğunlukla en fazla sayılabilir E durumuyla ilişkilendirilir) . Sayılabilenden büyük bir aralık ise M. çağrılır. sürekli zamanlı Markov zinciri. Sürekli zamanlı manyetik süreçlerin örnekleri, Poisson ve Wiener süreçleri dahil olmak üzere difüzyon süreçleri ve bağımsız artışlara sahip süreçler tarafından sağlanır.

Aşağıda, kesinlik sağlamak için, yalnızca Formül (1) ve (2)'nin bilinen bir "şimdi" ile "geçmiş" ve "gelecek"ten bağımsızlığı ilkesinin net bir yorumunu sağladığı durumundan bahsedeceğiz, ancak M. p.'nin bunlara dayalı tanımının, üzerinde anlaşmaya varılmış olmasına rağmen farklı olanlara karşılık gelen bir değil, (1) veya (2) tipi koşulları dikkate almanın gerekli olduğu çok sayıda durumda yeterince esnek olmadığı ortaya çıktı. Bu tür düşünceler bir bakıma benimsenmesine yol açtı. aşağıdaki tanım(santimetre. , ).

Şunlar verilsin:

a) s-cebirinin E'deki tüm tek noktalı kümeleri içerdiği ölçülebilir bir uzay;

b) bir s-cebir ailesi ile donatılmış ölçülebilir bir uzay;

c) fonksiyon (“yörünge”) x t =xT(w) , ölçülebilir herhangi bir haritalama için tanımlama

d) her biri için ve s-cebiri üzerinde, fonksiyonun if ve ile ilgili olarak ölçülebilir olduğu bir olasılık ölçüsü.

İsim seti (sonlanmayan) if -neredeyse kesin olarak tanımlanan Markov süreci

her ne iseler, burası uzay temel olaylar, - faz uzayı veya durum uzayı, P( s, x, t, V)- geçiş işlevi veya X(t) sürecinin geçiş olasılığı . Eğer E topolojiye sahipse ve Borel kümelerinin bir koleksiyonu ise E, o zaman M. p'nin verildiğini söylemek gelenekseldir. E. Tipik olarak M. p'nin tanımı, aşağıdaki şartla, bir olasılık olarak yorumlanması gerekliliğini içerir: x s =x.

Şu soru ortaya çıkıyor: Her Markov geçiş fonksiyonu P( s, x;t, V), ölçülebilir bir uzayda verilen, belirli bir M. uzayının bir geçiş fonksiyonu olarak düşünülebilir. Örneğin, E ayrılabilir yerel olarak kompakt bir uzaysa ve Borel kümelerinin bir koleksiyonuysa cevap pozitiftir. E.Üstelik izin ver E - tam metrik boşluk bırak ve bırak

A - bir noktanın e-komşuluğunun tamamlayıcısı X. Daha sonra karşılık gelen manyetik alanın sağda sürekli olduğu ve solda sınırları olduğu düşünülebilir (yani yörüngeleri bu şekilde seçilebilir). Sürekli bir manyetik alanın varlığı (bkz., ) koşuluyla sağlanır. Mekanik süreçler teorisinde, homojen (zaman içinde) süreçlere asıl dikkat gösterilmektedir. İlgili tanım şunu ima eder: verilen sistem nesneler a) - d) açıklamasında görünen s ve u parametreleri için artık yalnızca 0 değerine izin veriliyor. Gösterim de basitleştirildi:

Ayrıca, W uzayının homojenliği varsayılır, yani herhangi biri için (w)'nin var olması gerekir. Bundan dolayı s-cebirinde N, W cinsinden herhangi bir olayı içeren s-cebirlerinin en küçüğü, zaman kaydırma operatörleri q verilir T Kümelerin birleştirme, kesişme ve çıkarma işlemlerini koruyan ve bunun için

İsim seti if -neredeyse kesinlikle şeklinde tanımlanan (sonlanmayan) homojen Markov süreci

X(t) sürecinin Geçiş fonksiyonu için P( olarak kabul edilir) t, x, V) ve, özel çekinceler olmadığı sürece, ek olarak şunları gerektirirler. (4)'ü kontrol ederken yalnızca (4)'teki her zaman nerede ve ne olan form kümelerini dikkate almanın yeterli olduğunu akılda tutmak yararlı olacaktır. ft s-cebiri ile değiştirilebilir, kesişme noktasına eşit ikmaller ft tüm olası ölçümler için genellikle m olasılık ölçüsü (“başlangıç ​​dağılımı”) sabitlenir ve Markov dikkate alınır. rastgele fonksiyon eşitliğin verdiği ölçü nerede

M.p. aradı. eğer fonksiyon her t>0 için s-cebirinin nerede olduğu ölçülebilir bir eşlemeye neden oluyorsa aşamalı olarak ölçülebilir

Borel alt kümeleri . Sağ sürekli MP'ler aşamalı olarak ölçülebilir. Azaltmanın bir yolu var heterojen durum homojen (bkz.) ve gelecekte homojen M. öğelerinden bahsedeceğiz.

Kesinlikle Markov mülkü.Ölçülebilir bir uzayın m ile verilebileceğini varsayalım.

Fonksiyon çağrılır Markov anı, Eğer herkes için Bu durumda, küme bir F t ailesi olarak sınıflandırılır (çoğunlukla F t, X(t)'nin t anına kadar evrimi ile ilişkili bir olaylar dizisi olarak yorumlanır). İnanmak için

Aşamalı olarak ölçülebilir M. s. kesinlikle Markov süreci (s.m.p.), eğer herhangi bir Markov anı için m ve tümü ve ilişki

(kesinlikle Markov özelliği) W t kümesinde neredeyse kesinlikle geçerlidir. (5)'i kontrol ederken, yalnızca bu durumda simetrik uzayın, örneğin bir topolojikteki herhangi bir sağ-sürekli Fellerian boyutlu uzay olduğu formdaki kümeleri dikkate almak yeterlidir. uzay E. M.p. aradı. Feller Markov süreci eğer fonksiyon

f sürekli ve sınırlı olduğunda süreklidir.

Sınıfta. e.n. belirli alt sınıflar ayırt edilir. Markov geçiş fonksiyonu P( t, x, V), bir metrik yerel olarak kompakt uzayda tanımlanmış E, stokastik olarak sürekli:

her noktanın herhangi bir U komşuluğu için. Bu durumda, eğer operatörler sonsuzda sıfır olan sürekli fonksiyonların sınıfını alırlarsa, o zaman P( fonksiyonları) olur. t, x, V) M. s standardını karşılar. X, yani sağda sürekli. m.p., bunun için

Markov sürecinin sonlandırılması.Çoğunlukla fiziksel Sistemlerin, sonlanmayan bir manyetik alan kullanarak, ancak yalnızca rastgele uzunluktaki bir zaman aralığında tanımlanması tavsiye edilir. Üstelik hatta basit dönüşümler Milletvekilleri, üzerinde belirtilen yörüngelere sahip bir sürece öncülük edebilir. rastgele aralık(santimetre. "İşlevsel" Markov sürecinden). Bu düşüncelerin rehberliğinde bozuk MP kavramı tanıtıldı.

Faz uzayında geçiş fonksiyonuna sahip homojen bir manyetik alan olsun ve için ve aksi şeklinde bir nokta ve fonksiyon olsun (özel bir çekince yoksa, düşünün). Yeni yörünge x t(w) yalnızca ) için a eşitliği yoluyla belirtilir ft bir kümedeki iz olarak tanımlanır

Aranan yeri ayarla z zamanında sonlandırılarak (veya sonlandırılarak) elde edilen, sonlandıran bir Markov süreci (o.m.p.) ile. Z değeri denir mola anı veya yaşam süresi, o. e.n. Faz uzayı yeni süreç s-cebirinin izinin olduğu yere hizmet eder E. Geçiş fonksiyonu o. e.n., Proses X(t) kümesine yönelik bir kısıtlamadır. tam anlamıyla bir Markov süreci veya standart bir Markov süreci karşılık gelen özellik kırılmaz bir M'ye sahiptir. p o olarak kabul edilebilir. e.n. kırılma anı ile Heterojen o. e.n. benzer şekilde belirlenir. M.

Markov süreçleri ve diferansiyel denklemler. M. s. Brown hareketi parabolik diferansiyel denklemlerle yakından ilişkilidir. tip. Geçiş yoğunluğu p(s), x, t, y Difüzyon sürecinin )'si, belirli ek varsayımlar altında Kolmogorov'un ters ve doğrudan diferansiyel denklemlerini karşılar:

Fonksiyon p( s, x, t, y).(6) - (7) denklemlerinin Green fonksiyonudur ve ilk bilinen yöntemler Difüzyon süreçlerinin inşası, bu fonksiyonun varlığına ilişkin teoremlere dayanıyordu. diferansiyel denklemler(6) - (7). Zaman açısından homojen bir süreç için L( operatörü s, x)= L(x).on pürüzsüz işlevler karakteristikle eşleşiyor operatör M. s. "Geçiş operatörleri yarı grubu").

Matematik. Çeşitli işlevlerin yayılma süreçlerinden beklentileri, karşılık gelen sorunlara çözüm olarak hizmet eder. sınır değer problemleri diferansiyel denklem (1) için. Let - matematiksel. ölçüdeki beklenti O halde fonksiyon şu noktada karşılanır: denklemi (6) ve koşulu

Aynı şekilde, fonksiyon

ile tatmin olur denklemi

ve koşul ve 2 ( T, x) = 0.

Sınıra ilk varılan an olsun gdd bölge süreç yörüngesi Daha sonra belirli koşullar altında fonksiyon

denklemi karşılıyor

ve setteki cp değerlerini alır

Genel bir doğrusal parabolik için 1. sınır değer probleminin çözümü. 2. dereceden denklemler

oldukça genel varsayımlar altında şu şekilde yazılabilir:

L operatörünün ve fonksiyonlarının olması durumunda s, f bağlı değil S, Doğrusal bir eliptiğin çözümü için (9)'a benzer bir gösterim de mümkündür. denklemler Daha doğrusu, işlev

belirli varsayımlar altında sorunun bir çözümü vardır

L operatörünün dejenere olması durumunda (del b( s, x) = 0 ).veya kenarlık gdd yeterince "iyi" değildir; sınır değerleri, (9), (10) fonksiyonları tarafından tek tek noktalarda veya tüm kümelerde kabul edilmeyebilir. Bir operatör için düzenli sınır noktası kavramı L olasılıksal bir yorumu vardır. Sınırın düzenli noktalarında sınır değerleri (9), (10) fonksiyonlarıyla elde edilir. Problemleri (8), (11) çözmek, karşılık gelen difüzyon süreçlerinin özelliklerini ve bunların işlevlerini incelememize olanak tanır.

Örneğin, (6), (7) denklemlerinin çözümlerinin oluşturulmasına dayanmayan MP'lerin oluşturulmasına yönelik yöntemler vardır. yöntem stokastik diferansiyel denklemler, kesinlikle sürekli ölçüm değişimi vb. Bu durum, formüller (9), (10) ile birlikte, denklem (8) için sınır değer problemlerinin özelliklerini ve ayrıca çözüm özelliklerini olasılıksal olarak oluşturmamıza ve incelememize olanak tanır. karşılık gelen eliptik. denklemler

Stokastik diferansiyel denklemin çözümü b( matrisinin dejenerasyonuna karşı duyarsız olduğundan s, x), O olasılıksal yöntemler dejenere eliptik ve parabolik diferansiyel denklemlerin çözümlerini oluşturmak için kullanıldı. N. M. Krylov ve N. N. Bogolyubov'un ortalama alma ilkesinin stokastik diferansiyel denklemlere genişletilmesi, (9) kullanılarak eliptik ve parabolik diferansiyel denklemler için karşılık gelen sonuçların elde edilmesini mümkün kıldı. Bazı zor görevler En yüksek türevde küçük parametreli bu tür denklemlerin çözümlerinin özellikleri üzerine yapılan çalışmaların olasılıksal değerlendirmeler kullanılarak çözülmesinin mümkün olduğu ortaya çıktı. Denklem (6) için 2. sınır değer probleminin çözümü de olasılıksal bir anlam taşır. Sınırsız bir alan için sınır değer problemlerinin formülasyonu, karşılık gelen difüzyon sürecinin tekrarlanmasıyla yakından ilgilidir.

Zaman açısından homojen bir süreç durumunda (L, s'ye bağlı değildir), denklemin çarpımsal bir sabite kadar pozitif çözümü, belirli varsayımlar altında şu şekilde çakışır: sabit yoğunluk MP'lerin dağılımları, doğrusal olmayan parabolikler için sınır değer problemlerini değerlendirirken olasılıksal değerlendirmelerin de yararlı olduğu ortaya çıkar. denklemler. R. 3. Khasminsky.

Yaktı.: Markov A. A., "İzvestia. Kazan Üniversitesi Fizik-Matematik Topluluğu", 1906, cilt 15, Sayı 4, s. 135-56; Vashelier L., "Ann. scient. Ecole normu, süper.", 1900, v. 17, s. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; rus. Tercüme - "Uspekhi Matematicheskikh Nauk", 1938, yüzyıl. 5, s. 5-41; Zhun Kai-lai, Homojen Markov zincirleri, çev. İngilizce'den, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, s. 417-36; Dynkin E.B., Yuşkevich A.A., " Teori muhtemelen. ve uygulamaları.", 1956, cilt 1, cilt 1, s. 149-55; X ve n t J.-A., Markov süreçleri ve potansiyelleri, İngilizceden çevrilmiş, M., 1962; D e L la sher ve K., Kapasiteler ve rastgele süreçler, Fransızca'dan, M., 1975; Dynkin E.V., Teorinin Temelleri. Markov süreçleri, M., 1959; kendisi, Markov Süreçleri, M., 1963; G ve H man I. I., S kor o x od A. V., Theory of Random Process, cilt 2, M., 1973; Freidlin M.I., kitapta: Bilimin Sonuçları. Olasılık teorisi, matematiksel istatistik. - Teorik sibernetik. 1966, M., 1967, s. 7-58; X a sminskiy R. 3., “Olasılık teorisi ve uygulamaları,” 1963, cilt 8, içinde. . 1, s. 3-25; Ventzel A.D., Freidlin M.I., Dalgalanmalar dinamik sistemler küçük rastgele bozuklukların etkisi altında, M., 1979; Blumenthal R.M., G e to r R.K., Markov süreçleri ve potansiyel teorisi, N.Y.-L., 1968; Getоor R. K., Markov süreçleri: Ray süreçleri ve doğru süreçler, V., 1975; Kuznetsov S. E., “Olasılık teorisi ve uygulamaları,” 1980, cilt 25, yüzyıl. 2, s. 389-93.

Altında rastgele süreç Bazı fiziksel sistemlerin durumlarının zaman içindeki değişimini önceden bilinmeyen rastgele bir şekilde anlayın. Aynı zamanda altında fiziksel sistem anlayacağız herhangi bir teknik cihaz, cihaz grubu, işletme, endüstri, biyolojik sistem vesaire.

Rastgele süreç Sistemdeki akışa denir Markovski – zamanın herhangi bir anında sürecin olasılıksal özellikleri gelecekte (t > ) yalnızca durumuna bağlıdır şu anda zaman ( şu anda ) ve sistemin bu duruma ne zaman ve nasıl geldiğine bağlı değildir geçmişte .(Örneğin kozmik parçacıkların sayısını kaydeden bir Geiger sayacı).

Markov süreçleri genellikle 3 türe ayrılır:

1. Markov zinciri – durumları ayrık olan (yani yeniden numaralandırılabilen) bir süreç ve dikkate alındığı zaman da ayrıktır (yani süreç, durumlarını yalnızca zamanın belirli noktalarında değiştirebilir). Böyle bir süreç adımlarla (yani döngüler halinde) ilerler (değişir).

2. Ayrık Markov süreci – durumlar kümesi ayrıktır (listelenebilir) ve zaman süreklidir (bir durumdan diğerine geçiş - herhangi bir zamanda).

3. Sürekli Markov Süreci – Durumlar ve zaman kümesi süreklidir.

Pratikte Markov süreçlerine saf haliyle pek rastlanmaz. Ancak çoğu zaman tarihöncesinin etkisinin göz ardı edilebileceği süreçlerle uğraşmak gerekir. Ayrıca “geleceğin” bağlı olduğu “geçmişten” gelen tüm parametreler sistemin “şimdiki” durumuna dahil edilirse Markov olarak da değerlendirilebilir. Ancak bu durum çoğu zaman dikkate alınan değişken sayısının önemli ölçüde artmasına ve soruna çözüm bulunamamasına yol açmaktadır.

Yöneylem araştırmasında sözde Ayrık durumlara ve sürekli zamana sahip Markov rastgele süreçleri.

Süreç denir ayrık durumlarla süreç, eğer tüm olası durumları , ,... önceden listelenebilir (yeniden numaralandırılabilir). Sistem bir durumdan diğerine neredeyse anında, bir sıçrayışla geçiş yapıyor.

Süreç denir sürekli zaman süreci, eğer bir durumdan diğerine geçiş anları biraz zaman alabilirse rastgele değerler zaman ekseninde.

Örneğin : Teknik cihaz S iki düğümden oluşur , her biri rastgele bir zamanda başarısız olabilir ( reddetmek). Bundan sonra ünitenin onarımı hemen başlar ( iyileşmek), rastgele bir süre boyunca devam eder.

Aşağıdaki sistem durumları mümkündür:

Her iki düğüm de çalışıyor;

İlk ünite tamir ediliyor, ikincisi çalışıyor.

– ikinci ünite tamir ediliyor, birincisi çalışıyor

Her iki ünite de onarılıyor.

Sistemin durumdan duruma geçişi şu şekilde gerçekleşir: rastgele anlar zaman neredeyse anında. Sistemin durumları ve aralarındaki bağlantı kullanılarak rahatlıkla görüntülenebilir. durum grafiği .

Devletler

Geçişler

Geçiş yok çünkü elemanların arızaları ve restorasyonları bağımsız ve rastgele meydana gelir ve iki elemanın eşzamanlı arıza (iyileşme) olasılığı sonsuzdur ve ihmal edilebilir.

Tüm olay akışları sistemi aktarıyorsa S eyaletten eyalete – tek hücreli hayvan, O işlem, böyle bir sistemde akış Markovsky olacak. Bunun nedeni, en basit akışın sonradan bir etkisinin olmamasıdır; içinde "gelecek" "geçmişe" bağlı değildir ve ayrıca sıradanlık özelliğine sahiptir - iki veya daha fazla olayın aynı anda meydana gelme olasılığı sonsuz derecede küçüktür, yani durumdan duruma geçiş birden fazla ara durumdan geçmeden durum imkansızdır.

Açıklık sağlamak için, durum grafiğinde, her geçiş okunda, sistemi belirli bir ok boyunca durumdan duruma aktaran olay akışının yoğunluğunu belirtmek uygundur ( -sistemi durumdan duruma aktaran olayların akışının yoğunluğu) V. Böyle bir grafiğe denir işaretlendi.

Etiketli bir sistem durumu grafiği kullanarak şunları oluşturabilirsiniz: matematiksel model bu sürecin.

Sistemin belirli bir durumdan önceki veya sonraki duruma geçişlerini ele alalım. Bu durumda durum grafiğinin bir parçası şöyle görünecektir:

Sistemin şu anda olmasına izin verin T durumdadır.

(t)'yi gösterelim- sistemin i'inci durumunun olasılığı– sistemin o andaki olasılığı T durumdadır. Herhangi bir t zamanı için =1 doğrudur.

Şu andaki olasılığını belirleyelim. t+∆t sistem içinde olacaktır. Bu aşağıdaki durumlarda olabilir:

1) ve ∆ t süresi boyunca oradan ayrılmadı. Bu şu anlama gelir: ∆t süresi boyunca ortaya çıkmadı sistemi bir duruma (yoğunlukla akış) aktaran bir olay veya onu bir duruma (yoğunlukla akış) aktaran bir olay. Küçük ∆t için bunun olasılığını belirleyelim.

Şu tarihte: üstel yasa Olayların en basit akışına karşılık gelen iki komşu gereksinim arasındaki zaman dağılımı, ∆t zaman aralığı boyunca yoğunluktaki akışta tek bir gereksinimin ortaya çıkmama olasılığı λ1 eşit olacak

f(t) fonksiyonunu Taylor serisine (t>0) genişleterek elde ederiz (t=∆t için)

f(∆t)=f(0)+ (0)* ∆t + *∆ + *∆ +…=

= +(-l) *∆t+ (∆ + *(∆ +..." 1-l*∆t ∆t®0'da

Benzer şekilde, λ 2 yoğunluğuna sahip bir akış için şunu elde ederiz: .

∆t zaman aralığında olma olasılığı (∆t®0'da) hiçbir zorunluluk olmayacak eşit olacak

(∆t)/ = (∆t/ * (∆t/ = (1- *∆t)(1- *∆t) =

1 - - *∆t + 1 - ( + )*∆t + b.m.

Dolayısıyla sistemin ∆t süresi boyunca durumdan ayrılmama olasılığı şuna eşit olacaktır:

P( / )=1 – ( + )* ∆t

2) Sistem bir durumdaydı S i -1 ve zaman için S i durumuna geçti . Yani akışta yoğunlukla en az bir olay meydana geldi. Bunun olasılığı yoğunluktaki en basit akış için eşittir λ irade

Bizim durumumuz için böyle bir geçişin olasılığı şuna eşit olacaktır:

3)Sistem bir durumdaydı ve zaman içinde ∆t durumuna geçti . Bunun olma ihtimali

Bu durumda sistemin (t+∆t) zamanında S i durumunda olma olasılığı şuna eşittir:

P i (t)'yi her iki taraftan çıkaralım, ∆t'ye bölelim ve ∆t→0'daki limite geçerek şunu elde edelim:

Durumlardan durumlara geçiş yoğunluklarının karşılık gelen değerlerini değiştirerek, sistem durumlarının olasılıklarındaki değişimi zamanın fonksiyonu olarak tanımlayan bir diferansiyel denklem sistemi elde ederiz.

Bu denklemlere denklem denir Kolmogorov-Chapman ayrık Markov süreci için.

sorduktan sonra başlangıç ​​koşulları(örneğin, P 0 (t=0)=1,P i (t=0)=0 i≠0) ve bunları çözdükten sonra, sistemin durumunun olasılıkları için zamanın fonksiyonu olarak ifadeler elde ederiz. Analitik çözümler Denklem sayısı ≤ 2,3 ise elde edilmesi oldukça basittir. Bunlardan daha fazlası varsa, denklemler genellikle bir bilgisayarda sayısal olarak çözülür (örneğin, Runge-Kutta yöntemiyle).

Rastgele süreçler teorisinde kanıtlanmış , Ne eğer sayı n sistem durumları Kesinlikle ve her birinden mümkündür (çünkü son sayı adımlar) diğerine gidin, o zaman bir sınır var olasılıkların eğilimi ne zaman t→ . Bu tür olasılıklara denir son olasılıklar durumlar ve kararlı durum sabit mod sistemin işleyişi.

Sabit modda olduğundan her şey dolayısıyla her şey =0 olur. Denklem sisteminin sol taraflarını 0'a eşitleyip =1 denklemiyle tamamlayarak bir doğrusal denklem sistemi elde ederiz. cebirsel denklemler, çözerek nihai olasılıkların değerlerini bulacağız.

Örnek. Sistemimizdeki elemanların arıza oranları ve iyileşme oranları aşağıdaki gibi olsun:

Başarısızlıklar 1el:

2el:

Tamirat 1el:

2el:

P 0 +P 1 +P 2 +P 3 =1

0=-(1+2)P 0 +2P 1 +3 P 2

0=-(2+2)P 1 +1P 0 +3P 3

0=-(1+3)P 2 +2P 0 +2P 3

0=-(2+3)P 3 +2P 1 +1P 2

Karar verdikten sonra bu sistem, alıyoruz

P 0 =6/15=0,4; P1 =3/15=0,2; P2 =4/15=0,27; P3 =2/15≈0,13.

Onlar. V durağan durum ortalama sistem

%40'ı S 0 durumundadır (her iki düğüm de çalışır durumdadır),

%20 - S 1 durumunda (1. ünite onarılıyor, 2. ünite çalışıyor),

%27 - S 2 durumunda (2. elektrik ünitesi onarılıyor, 1. elektrik ünitesi çalışır durumda),

%13 - S 3 durumunda - her iki ünite de onarım aşamasındadır.

Nihai olasılıkları bilmek şunları sağlar: Sistemin ortalama verimliliğini ve onarım servisinin iş yükünü değerlendirin.

S 0 durumundaki sistemin 8 konvansiyonel birimlik gelir üretmesine izin verin. birim zaman başına; S 1 durumunda - gelir 3 geleneksel birim; S 2 durumunda - gelir 5; S 3 durumunda - gelir = 0

Fiyat onarımlar eleman 1- 1(S 1, S 3) geleneksel birimleri için birim zaman başına, eleman 2- (S 2, S 3) 2 geleneksel birimleri. Daha sonra sabit modda:

Sistem geliri birim zaman başına:

G ext =8P 0 +3P 1 +5P 2 +0P 3 =8·0,4+3·0,2+5·0,27+0·0,13=5,15 geleneksel birimler.

Onarım maliyeti birimler halinde zaman:

W rem =0P 0 +1P 1 +2P 2 +(1+2)P 3 =0·0,4+1·0,2+2·0,27+3·0,13=1,39 geleneksel birimler.

Kâr birim zaman başına

W= W nefes verme -W onarımı =5,15-1,39= 3,76 konvansiyonel ünite

Belirli harcamalar yaparak λ ve μ yoğunluklarını ve buna bağlı olarak sistemin verimliliğini değiştirebilirsiniz. Bu tür harcamaların fizibilitesi P i'nin yeniden hesaplanmasıyla değerlendirilebilir. ve sistem performansı göstergeleri.

Zaman parametresinin herhangi bir değerinden sonra evrimi t (\displaystyle t) bağlı değilönceki evrimden t (\displaystyle t), sürecin şu andaki değerinin sabit olması koşuluyla ("sürecin "geleceği", bilinen bir "şimdi" ile "geçmişe" bağlı değildir; başka bir yorum (Wentzel): sürecin "geleceği" bağlıdır) “geçmişe” yalnızca “şimdi” aracılığıyla).

Ansiklopedik YouTube

1 / 3

✪ Ders 15: Markov rastgele süreçleri

✪ Markov zincirlerinin kökeni

✪ Markov sürecinin genelleştirilmiş modeli

Altyazılar

Hikaye

Markov sürecini tanımlayan özelliğe genellikle Markovian adı verilir; ilk olarak 1907'deki çalışmalarında bağımlı test dizileri ve bunlarla ilişkili toplamlar üzerine çalışmayı başlatan A. A. Markov tarafından formüle edildi. rastgele değişkenler. Bu araştırma çizgisi Markov zinciri teorisi olarak bilinir.

Sürekli zamanlı Markov süreçlerinin genel teorisinin temelleri Kolmogorov tarafından atıldı.

Markov özelliği

Genel durum

İzin vermek (Ω , F , P) (\displaystyle (\Omega,(\mathcal (F))\mathbb (P)))- filtrelemeli olasılıksal alan (F t , t ∈ T) (\displaystyle ((\mathcal (F))_(t),\ t\T'de)) bazı (kısmen sıralanmış) setler üzerinde T (\displaystyle T); ve izin ver (S , S) (\displaystyle (S,(\mathcal (S))))- ölçülebilir alan. Rastgele süreç X = (X t , t ∈ T) (\displaystyle X=(X_(t),\ t\ T'de)) Filtrelenmiş olasılık uzayında tanımlananın tatmin ettiği kabul edilir Markov özelliği, eğer her biri için A ∈ S (\displaystyle A\in (\mathcal (S))) Ve s , t ∈ T: s< t {\displaystyle s,t\in T:s,

(\displaystyle \mathbb (P) (X_(t)\in A|(\mathcal (F))_(s))=\mathbb (P) (X_(t)\in A|X_(s))). ) Markov süreci Markov özelliği tatmin eden rastgele bir süreçtir.

doğal filtreleme ile.

Ayrık zamanlı Markov zincirleri için Durumunda S (\displaystyle S) ayrık bir kümedir ve T = N (\displaystyle T=\mathbb (N))

Markov süreci örneği

Markov rastgele sürecinin basit bir örneğini ele alalım. Bir nokta apsis ekseni boyunca rastgele hareket eder. Sıfır zamanda nokta orijindedir ve bir saniye boyunca orada kalır. Bir saniye sonra, bir madeni para atılır - eğer arma düşerse, o zaman X noktası bir birim uzunluk sağa, sayı ise sola doğru hareket eder. Bir saniye sonra para tekrar atılır ve aynı rastgele hareket yapılır ve bu şekilde devam eder. Bir noktanın konumunu değiştirme süreci ("yürüme") ayrık zamanlı (t=0, 1, 2, ...) ve sayılabilir bir durum kümesine sahip rastgele bir süreçtir. Böyle bir rastgele sürece Markov denir, çünkü noktanın bir sonraki durumu yalnızca mevcut (mevcut) duruma bağlıdır ve geçmiş durumlara bağlı değildir (noktanın mevcut koordinata hangi yoldan ve ne zaman ulaştığı önemli değildir) .

Markov süreçleri 1907'de bilim adamları tarafından türetildi. O zamanın önde gelen matematikçileri bu teoriyi geliştirdiler, bazıları hala geliştirmeye devam ediyor. Bu sistem diğer bilimsel alanlara da yayılıyor. Pratik Markov zincirleri, kişinin beklenti içinde olması gereken çeşitli alanlarda kullanılmaktadır. Ancak sistemi net bir şekilde anlayabilmek için şartlar ve hükümler hakkında bilgi sahibi olmanız gerekir. Markov sürecini belirleyen ana faktörün rastgelelik olduğu düşünülmektedir. Doğru, belirsizlik kavramına benzemiyor. Belli koşulları ve değişkenleri vardır.

Rastgelelik faktörünün özellikleri

Bu durum statik kararlılığa, daha doğrusu onun belirsizlik altında dikkate alınmayan yasalarına tabidir. Buna karşılık, bu kriter, olasılıkların dinamiklerini inceleyen bir bilim adamının belirttiği gibi, Markov süreçleri teorisinde matematiksel yöntemlerin kullanılmasına izin verir. Yarattığı çalışma doğrudan bu değişkenlerle ilgiliydi. Buna karşılık, üzerinde çalışılan ve geliştirilen, durum ve geçiş kavramlarını içeren, stokastik ve matematik problemlerinde de kullanılan rastgele süreç, bu modellerin çalışmasını mümkün kılmaktadır. Diğer şeylerin yanı sıra, diğer önemli uygulamalı teorik ve pratik bilimlerin geliştirilmesini mümkün kılar:

• difüzyon teorisi;
• kuyruk teorisi;
• güvenilirlik teorisi ve diğer şeyler;
• kimya;
• fizik;
• mekanik.

Planlanmamış bir faktörün temel özellikleri

Bu Markov süreci rastgele bir fonksiyonla belirlenir; yani argümanın herhangi bir değeri, belirli bir değer veya önceden hazırlanmış bir form alan bir değer olarak kabul edilir. Örnekler şunları içerir:

• devredeki titreşimler;
• hareket hızı;
• Belirli bir alandaki yüzey pürüzlülüğü.

Ayrıca rastgele bir fonksiyonun gerçeğinin zaman olduğu, yani indekslemenin gerçekleştiği genel olarak kabul edilir. Sınıflandırma bir durum ve bir argüman biçimindedir. Bu süreç kesikli olabileceği gibi sürekli durum veya zamanda da olabilir. Üstelik durumlar farklıdır: her şey ya şu ya da bu biçimde ya da aynı anda gerçekleşir.

Rastgelelik kavramının ayrıntılı bir analizi

Açıkça analitik bir biçimde gerekli performans göstergelerini içeren bir matematiksel model oluşturmak oldukça zordu. Gelecekte bu görevi gerçekleştirmek mümkün hale geldi çünkü Markov rastgele süreci ortaya çıktı. Bu kavramı ayrıntılı olarak analiz ederek bir teorem türetmek gerekir. Markov süreci, önceden programlanmamış, konumunu ve durumunu değiştiren fiziksel bir sistemdir. Böylece, içinde rastgele bir sürecin meydana geldiği ortaya çıkıyor. Örneğin: bir uzay yörüngesi ve ona fırlatılan bir gemi. Sonuç, yalnızca bazı yanlışlıklar ve ayarlamalar nedeniyle elde edildi; bu olmadan, belirtilen mod uygulanamazdı. Devam eden süreçlerin çoğu rastgelelik ve belirsizlikle karakterize edilir.

Aslına bakılırsa dikkate alınabilecek hemen hemen her seçenek bu faktöre tabi olacaktır. Bir uçak, teknik bir cihaz, yemek odası, saat - bunların hepsi rastgele değişikliklere tabidir. Üstelik bu işlev, gerçek dünyada devam eden herhangi bir sürecin doğasında vardır. Ancak bu durum bireysel olarak yapılandırılmış parametrelerle ilgili olmadığı sürece ortaya çıkan bozulmalar deterministik olarak algılanır.

Markov rastgele süreci kavramı

Herhangi bir teknik veya mekanik cihazın tasarımı, yaratıcıyı çeşitli faktörleri, özellikle belirsizlikleri hesaba katmaya zorlar. Rastgele dalgalanmaların ve bozuklukların hesaplanması, örneğin bir otopilotun uygulanması sırasında kişisel ilgi anında ortaya çıkar. Fizik ve mekanik gibi bilimlerde incelenen bazı süreçler bu şekildedir.

Ancak bunlara dikkat etmek ve kapsamlı bir araştırma yapmak, hemen ihtiyaç duyulduğu anda başlamalıdır. Markov rastgele sürecinin tanımı şu şekildedir: Gelecekteki bir türün olasılık özelliği, zamanın belirli bir anında bulunduğu duruma bağlıdır ve sistemin nasıl göründüğüyle hiçbir ilişkisi yoktur. Yani bu kavram, yalnızca olasılığı dikkate alarak ve arka planı unutarak sonucun tahmin edilebileceğini gösterir.

Konseptin detaylı yorumu

Şu anda sistem belli bir durumda, geçiş yapıyor ve değişiyor ve bundan sonra ne olacağını tahmin etmek aslında imkansız. Ancak olasılık göz önüne alındığında sürecin belli bir biçimde tamamlanacağını veya bir öncekinin devam edeceğini söyleyebiliriz. Yani gelecek, geçmişi unutarak şimdiden doğar. Bir sistem veya süreç yeni bir duruma girdiğinde geçmiş genellikle atlanır. Olasılık Markov süreçlerinde önemli bir rol oynar.

Örneğin, bir Geiger sayacı, parçacıkların sayısını gösterir; bu, tam olarak geldiği ana değil, belirli bir göstergeye bağlıdır. Buradaki ana kriter yukarıdaki kriterdir. Pratik uygulamalarda, yalnızca Markov süreçleri değil aynı zamanda benzer süreçler de dikkate alınabilir; örneğin: uçaklar, her biri belirli bir renkle gösterilen sistem savaşına katılır. Bu durumda temel kriter yine olasılıktır. Rakamlarda hangi noktada, hangi renkte avantaj olacağı bilinmiyor. Yani bu faktör, uçak ölümlerinin sırasına değil, sistemin durumuna bağlıdır.

Süreçlerin yapısal analizi

Markov süreci, olasılıksal sonuçları olmayan ve önceki geçmişi hesaba katmayan bir sistemin herhangi bir durumudur. Yani, geleceği bugüne dahil edip geçmişi atlarsanız. Belirli bir zamanın tarihöncesi ile aşırı doygunluğu, çok boyutluluğa yol açacak ve karmaşık zincir yapılarına yol açacaktır. Bu nedenle bu sistemleri minimum sayısal parametrelerle basit devreler kullanarak incelemek daha iyidir. Sonuç olarak bu değişkenlerin belirleyici olduğu ve bazı faktörler tarafından koşullandırıldığı düşünülmektedir.

Markov süreçlerine bir örnek: o anda iyi çalışır durumda olan, çalışan bir teknik cihaz. Bu durumda ilgi, cihazın uzun bir süre çalışmaya devam etme olasılığıdır. Ancak ekipmanı hata ayıklanmış olarak algılarsak, cihazın daha önce ne kadar süre çalıştığı ve onarım yapılıp yapılmadığına dair bilgi bulunmadığından bu seçenek artık söz konusu sürece ait olmayacaktır. Ancak bu iki zaman değişkenini toplayıp sisteme dahil edersek durumu Markovian olarak sınıflandırılabilir.

Zamanın ayrık durumu ve sürekliliğinin tanımı

Markov süreci modelleri geçmişin ihmal edilmesinin gerekli olduğu bir dönemde kullanılmaktadır. Uygulamadaki araştırmalarda çoğunlukla ayrık, sürekli durumlarla karşılaşılır. Böyle bir durumun örnekleri şunlardır: Ekipmanın yapısı, çalışma koşulları altında arızalanabilecek bileşenler içerir ve bu, planlanmamış, rastgele bir eylem olarak gerçekleşir. Sonuç olarak, sistemin durumu şu veya bu elemanın onarımına tabidir, şu anda bunlardan biri çalışır durumda olacak veya her ikisi de hata ayıklanacak veya tam tersi tamamen ayarlanacaktır.

Ayrık Markov süreci olasılık teorisine dayanır ve aynı zamanda bir sistemin bir durumdan diğerine geçişidir. Üstelik bu faktör, kazara arıza ve onarımlar meydana gelse bile anında ortaya çıkar. Böyle bir süreci analiz etmek için durum grafiklerini, yani geometrik diyagramları kullanmak daha iyidir. Bu durumda sistem durumları çeşitli şekillerle gösterilir: üçgenler, dikdörtgenler, noktalar, oklar.

Bu sürecin modellenmesi

Ayrık durumlu Markov süreçleri, anında gerçekleşen ve numaralandırılabilen bir geçişin sonucu olarak sistemlerde olası değişikliklerdir. Örneğin, düğümler için oklardan bir durum grafiği oluşturabilirsiniz; burada her biri farklı yönlendirilmiş başarısızlık faktörlerinin, çalışma koşullarının vb. yolunu gösterecektir. Gelecekte herhangi bir soru ortaya çıkabilir: örneğin tüm geometrik elemanların olmadığı gerçeği doğru yöne işaret edin, çünkü süreçte her düğüm bozulabilir. Çalışırken kısa devreleri dikkate almak önemlidir.

Sürekli zamanlı Markov süreci, veriler önceden sabitlenmediğinde rastgele gerçekleşir. Geçişler önceden planlanmıyordu ve herhangi bir anda aniden gerçekleşebiliyordu. Burada yine olasılık önemli bir rol oynuyor. Ancak mevcut durum yukarıdakilerle ilgiliyse, o zaman açıklama için bir matematiksel modelin geliştirilmesi gerekecektir, ancak olasılık teorisini anlamak önemlidir.

Olasılık teorileri

Bu teoriler, ara sıra kesin olan deterministik problemlerden ziyade, rastgele sıra, hareket ve faktörler gibi karakteristik özelliklere sahip olasılıksal matematik problemlerini dikkate alır. Kontrollü bir Markov sürecinin bir olasılık faktörü vardır ve buna dayanır. Üstelik bu sistem, farklı koşullar ve zaman aralıklarında anında herhangi bir duruma geçebilme özelliğine sahiptir.

Bu teoriyi pratikte uygulamak için olasılık ve uygulamaları hakkında önemli bilgilere sahip olmak gerekir. Çoğu durumda herkes bir beklenti içerisindedir ki, söz konusu teori de genel anlamda budur.

Olasılık teorisi örnekleri

Bu durumdaki Markov süreçlerinin örnekleri şunları içerir:

• kafe;
• bilet ofisleri;
• tamir atölyeleri;
• çeşitli amaçlar için istasyonlar vb.

Kural olarak insanlar bu sistemle her gün karşılaşmaktadır; günümüzde buna kuyruk adı verilmektedir. Böyle bir hizmetin mevcut olduğu tesislerde, süreç içerisinde karşılanan çeşitli talepler talep etmek mümkündür.

Gizli Süreç Modelleri

Bu tür modeller statiktir ve orijinal sürecin işleyişini kopyalar. Bu durumda ana özellik, çözülmesi gereken bilinmeyen parametrelerin izlenmesi işlevidir. Sonuç olarak bu öğeler analizde, uygulamada veya çeşitli nesnelerin tanınmasında kullanılabilir. Geleneksel Markov süreçleri görünür geçişlere ve olasılığa dayalıdır; gizli modelde ise yalnızca durumdan etkilenen bilinmeyen değişkenler gözlemlenir.

Gizli Markov modellerinin temel açıklaması

Ayrıca diğer değerler arasında da bir olasılık dağılımı vardır, bunun sonucunda araştırmacı bir dizi sembol ve durum görecektir. Her eylemin diğer değerler arasında bir olasılık dağılımı vardır, dolayısıyla gizli model, oluşturulan sıralı durumlar hakkında bilgi sağlar. Bunlardan ilk notlar ve sözler geçen yüzyılın altmışlı yıllarının sonlarında ortaya çıktı.

Daha sonra konuşma tanıma ve biyolojik verilerin analizörleri olarak kullanılmaya başlandı. Ayrıca gizli modeller yazı, hareket ve bilgisayar bilimlerine de yayıldı. Ayrıca bu unsurlar ana sürecin işleyişini taklit eder ve statik kalır, ancak buna rağmen çok daha belirgin özellikler vardır. Bu gerçek özellikle doğrudan gözlem ve dizi oluşturmayla ilgilidir.

Sabit Markov süreci

Bu koşul, homojen bir geçiş fonksiyonu için olduğu kadar, ana ve tanımı gereği rastgele eylem olarak kabul edilen durağan bir dağılım için de mevcuttur. Belirli bir sürecin faz uzayı sonlu bir kümedir, ancak bu durumda başlangıç ​​farklılaşması her zaman mevcuttur. Bu süreçteki geçiş olasılıkları zaman koşulları veya ek unsurlar altında dikkate alınır.

Markov modelleri ve süreçlerinin ayrıntılı bir incelemesi, toplumun çeşitli yaşam ve faaliyet alanlarında tatmin edici denge sorununu ortaya koymaktadır. Bu endüstrinin bilimi ve kitle hizmetlerini etkilediği göz önüne alındığında, aynı hatalı saat veya ekipmanın herhangi bir olay veya eyleminin analizi ve sonucu tahmin edilerek durum düzeltilebilir. Markov sürecinin yeteneklerinden tam anlamıyla yararlanmak için bunları ayrıntılı olarak anlamakta fayda var. Sonuçta bu cihaz sadece bilimde değil oyunlarda da geniş bir uygulama alanı buldu. Bu sistem genellikle saf haliyle dikkate alınmaz ve kullanılması durumunda yalnızca yukarıda belirtilen modeller ve diyagramlar temel alınır.