Markov sürecini hangi grafik tanımlar? Markov rastgele süreçleri

Kuyruk teorisi olasılık teorisinin dallarından biridir. Bu teori dikkate alır olasılıksal görevler ve matematiksel modeller(bundan önce deterministik matematiksel modelleri değerlendirdik). Şunu hatırlatalım:

Deterministik matematiksel model Bir nesnenin (sistem, süreç) davranışını perspektiften yansıtır tam kesinlikşimdiki zamanda ve gelecekte.

Olasılıksal matematiksel model Rastgele faktörlerin bir nesnenin (sistem, süreç) davranışı üzerindeki etkisini dikkate alır ve bu nedenle geleceği belirli olayların olasılığı açısından değerlendirir.

Onlar. burada, örneğin oyun teorisindeki problemler dikkate alındığı için koşullar altındabelirsizlik.

Sorunun içerdiği belirsiz faktörler rastgele değişkenler (veya rastgele fonksiyonlar) olduğunda, öncelikle "stokastik belirsizliği" karakterize eden bazı kavramları ele alalım, olasılıksal özellikler Bunlar ya bilinir ya da deneyimlerden elde edilebilir. Bu belirsizliğe “olumlu”, “iyi huylu” da denilmektedir.

Rastgele süreç kavramı

Kesin olarak konuşursak, rastgele rahatsızlıklar herhangi bir sürecin doğasında vardır. Rastgele bir sürece örnek vermek “rastgele olmayan” bir sürece göre daha kolaydır. Örneğin, bir saati çalıştırma süreci bile (kesinlikle kalibre edilmiş bir çalışma gibi görünüyor - "saat gibi çalışır") rastgele değişikliklere tabidir (ileri gitme, geride kalma, durma). Ancak bu bozulmalar önemsiz olduğu ve bizi ilgilendiren parametreler üzerinde çok az etkisi olduğu sürece, onları ihmal edebilir ve süreci deterministik, rastgele olmayan bir süreç olarak değerlendirebiliriz.

Bir sistem olsun S(teknik cihaz, bu tür cihazların grubu, teknolojik sistem - makine, saha, atölye, işletme, sanayi vb.). Sistemde S sızıntılar rastgele süreç, eğer zaman içinde durumunu değiştirirse (bir durumdan diğerine geçerse), üstelik daha önce bilinmeyen rastgele bir şekilde.

Örnekler: 1. Sistem S– teknolojik sistem (makine bölümü). Makineler zaman zaman arızalanıp tamir edilmektedir. Bu sistemde gerçekleşen süreç rastgeledir.

2. Sistem S- Belirli bir rota boyunca belirli bir yükseklikte uçan bir uçak. Rahatsız edici faktörler - hava koşulları, mürettebat hataları vb., sonuçlar - inişli çıkışlılık, uçuş programının ihlali vb.

Markov rastgele süreci

Bir sistemde meydana gelen rastgele bir sürece ne ad verilir? Markovski eğer herhangi bir an için T 0 Bir sürecin gelecekteki olasılıksal özellikleri yalnızca o andaki durumuna bağlıdır T 0 ve sistemin bu duruma ne zaman ve nasıl ulaştığına bağlı değildir.

Sistemin şu anda belirli bir durumda olmasına izin verin t 0 S 0. Sistemin şu andaki durumunun özelliklerini, o dönemde olup biten her şeyi biliyoruz. T<T 0 (işlem geçmişi). Geleceği tahmin edebilir miyiz (tahmin edebilir miyiz), yani. ne zaman olacak T>T 0 mı? Tam olarak değil ama sürecin bazı olasılıksal özellikleri gelecekte bulunabilir. Örneğin, bir süre sonra sistemin kapanma olasılığı S mümkün olacak S 1 veya durumunda kalacak S 0 vb.

Örnek. Sistem S- katılan bir grup uçak hava muharebesi. İzin vermek X– “kırmızı” uçakların sayısı, sen– “mavi” uçakların sayısı. Zamana kadar T Sırasıyla 0 hayatta kalan (düşülmemiş) uçak sayısı - X 0 ,sen 0. Şu anda sayısal üstünlüğün “kırmızıların” tarafında olacağı ihtimaliyle ilgileniyoruz. Bu olasılık sistemin o sırada hangi durumda olduğuna bağlıdır T 0, ve şu ana kadar vurulanların ne zaman ve hangi sırayla öldüğü hakkında değil T 0 uçak.

Pratikte Markov süreçlerine saf haliyle genellikle rastlanmaz. Ancak "tarih öncesi" etkisinin göz ardı edilebileceği süreçler de var. Ve bu tür süreçleri incelerken Markov modelleri kullanılabilir (teoride sıraya girme Dikkate alınan Markov kuyruk sistemleri değildir, ancak bunları tanımlayan matematiksel aygıt çok daha karmaşıktır).

Yöneylem araştırmasında büyük değer ayrık durumlara ve sürekli zamana sahip Markov rastgele süreçleri var.

Süreç denir ayrık durum süreci eğer öyleyse olası durumlarS 1 ,S 2, ... önceden belirlenebilir ve sistemin durumdan duruma geçişi neredeyse anında "bir sıçramayla" gerçekleşir.

Süreç denir ile işlem yapmak sürekli zaman Bir durumdan diğerine olası geçişlerin anları önceden sabitlenmemiş, ancak belirsiz, rastgele ve her an gerçekleşebiliyorsa.

Örnek. Teknolojik sistem (bölüm) S her biri rastgele bir anda arızalanabilen (arızalanabilen) iki makineden oluşur, ardından ünitenin onarımı hemen başlar ve bu da bilinmeyen, rastgele bir süre boyunca devam eder. Aşağıdaki sistem durumları mümkündür:

S 0 - her iki makine de çalışıyor;

S 1 - ilk makine tamir ediliyor, ikincisi çalışıyor;

S 2 - ikinci makine tamir ediliyor, birincisi çalışıyor;

S 3 - her iki makine de onarılıyor.

Sistem geçişleri S Belirli bir makine arızalandığında veya bir onarım tamamlandığında, durumdan duruma geçiş neredeyse anında, rastgele anlarda gerçekleşir.

Analiz ederken rastgele süreçler ayrık durumlarla geometrik bir şema kullanmak uygundur - durum grafiği. Grafiğin köşeleri sistemin durumlarıdır. Grafik yayları – durumdan duruma olası geçişler

Şekil 1. Sistem durumu grafiği

durum. Örneğimiz için durum grafiği Şekil 1'de gösterilmektedir.

Not. Eyaletten geçiş S 0 inç SŞekilde 3 gösterilmemiştir çünkü makinelerin birbirinden bağımsız olarak arızalandığı varsayılmaktadır. Her iki makinenin aynı anda arızalanma olasılığını ihmal ediyoruz.

Görünümü tanımlamak çok uygundur rastgele olaylar sistemin bir durumundan diğerine geçiş olasılıkları şeklinde, çünkü durumlardan birine geçtikten sonra sistemin artık bu duruma nasıl geldiğine dair koşulları hesaba katmaması gerektiğine inanılıyor.

Rastgele süreç denir Markov süreci(veya sonuçsuz süreç), eğer zamanın her anı için T Sistemin gelecekte herhangi bir durumun ortaya çıkma olasılığı yalnızca şu andaki durumuna bağlıdır ve sistemin bu duruma nasıl geldiğine bağlı değildir.

Bu yüzden, Markov süreci Durumdan duruma geçişlerin bir grafiğini belirlemek uygundur. Markov süreçlerini tanımlamak için iki seçeneği ele alacağız ayrık ve sürekli zamanlı.

İlk durumda, bir durumdan diğerine geçiş, önceden bilinen zaman anlarında, saat döngülerinde (1, 2, 3, 4, ) meydana gelir. Geçiş her saat döngüsünde meydana gelir, yani araştırmacı yalnızca rastgele bir sürecin gelişiminden geçtiği durumların sırası ile ilgilenir ve geçişlerin her birinin tam olarak ne zaman gerçekleştiğiyle ilgilenmez.

İkinci durumda araştırmacı hem birbirini değiştiren durumlar zinciriyle hem de bu tür geçişlerin zaman içinde meydana geldiği anlarla ilgilenmektedir.

Ve bir şey daha. Geçiş olasılığı zamana bağlı değilse Markov zincirine homojen denir.

Ayrık zamanlı Markov süreci

Dolayısıyla, Markov sürecinin modelini, durumların (köşelerin) bağlantılarla (geçişler) birbirine bağlandığı bir grafik biçiminde temsil ediyoruz. Ben-'inci durum J-th durumu), bkz. 33.1.

Her geçiş karakterize edilir geçiş olasılığı P ben. Olasılık P ben vurulduktan sonra ne sıklıkta olduğunu gösterir Ben-th durumuna daha sonra geçiş yapılır J-th durumu. Elbette bu tür geçişler rastgele gerçekleşir, ancak geçişlerin sıklığını yeterli bir süre boyunca ölçerseniz büyük zaman, o zaman bu frekansın çakışacağı ortaya çıkıyor verilen olasılık geçiş.

Her durum için, kendisinden diğer durumlara tüm geçişlerin (giden oklar) olasılıklarının toplamının her zaman 1'e eşit olması gerektiği açıktır (bkz. Şekil 33.2).

Örneğin, grafiğin tamamı Şekil 2'de gösterilene benzeyebilir. 33.3.

Bir Markov sürecinin uygulanması (modelleme süreci), durumdan duruma geçişlerin bir dizisinin (zincirinin) hesaplanmasıdır (bkz. Şekil 33.4). Şekil 2'deki devre. 33.4 rastgele bir dizidir ve başka uygulamalara da sahip olabilir.

Sürecin mevcut durumdan hangi yeni duruma geçeceğini belirlemek Ben-th durumunda, aralığı büyüklükteki alt aralıklara bölmek yeterlidir. P Ben 1 , P Ben 2 , P Ben 3, ( P Ben 1 + P Ben 2 + P Ben 3 + = 1), bkz. Şek. 33.5. Daha sonra, RNG'yi kullanarak aralıkta eşit şekilde dağıtılmış bir sonraki rastgele sayıyı elde etmeniz gerekir. R pp ve hangi aralığa düştüğünü belirleyin (bkz. Ders 23).

Bundan sonra RNG tarafından belirlenen duruma geçiş yapılır ve anlatılan prosedür yeni durum için tekrarlanır. Modelin sonucu bir Markov zinciridir (bkz. Şekil 33.4) ) .

Örnek. Topun hedefe ateşlenmesinin simülasyonu. Bir hedefe top atmayı simüle etmek için Markov rastgele sürecinin bir modelini oluşturacağız.

Aşağıdaki üç durumu tanımlayalım: S 0 hedef hasar görmemiş; S 1 hedef hasar gördü; S 2 hedef yok edildi. Vektörü ayarlayalım başlangıç ​​olasılıkları:

Anlam P Her bir durum için 0, atış başlamadan önce nesnenin durumlarının her birinin olasılığının ne olduğunu gösterir.

Durum geçiş matrisini ayarlayalım (bkz. Tablo 33.1).

Matris, her durumdan diğerine geçiş olasılığını belirtir. Olasılıkların, belirli bir durumdan geri kalan duruma geçiş olasılıklarının toplamı her zaman bire eşit olacak şekilde belirlendiğine dikkat edin (sistem mutlaka bir yere gitmelidir).

Markov süreç modeli görsel olarak aşağıdaki grafikte gösterilebilir (bkz. Şekil 33.6).

Model ve yöntemi kullanma istatistiksel modelleme, şu sorunu çözmeye çalışacağız: Hedefi tamamen yok etmek için gereken ortalama mermi sayısını belirleyin.

Rastgele sayılar tablosu kullanarak çekim sürecini simüle edelim. Başlangıç ​​durumu şöyle olsun S 0. Rasgele sayılar tablosundan bir dizi alalım: 0,31, 0,53, 0,23, 0,42, 0,63, 0,21, ( rastgele sayılarörneğin bu tablodan alınabilir).

0.31 : hedef şu durumda S 0 ve durumda kalır S 0'dan beri 0< 0.31 < 0.45;
0.53 : hedef şu durumda S 0 ve duruma geçer S 0,45'ten beri 1< 0.53 < 0.45 + 0.40;
0.23 : hedef şu durumda S 1 ve durumunda kalır S 0'dan beri 1< 0.23 < 0.45;
0.42 : hedef şu durumda S 1 ve durumunda kalır S 0'dan beri 1< 0.42 < 0.45;
0.63 : hedef şu durumda S 1 ve duruma geçer S 0,45'ten beri 2< 0.63 < 0.45 + 0.55.

Duruma ulaşıldığından beri S 2 (sonra hedef hareket eder S 2 eyalette S 2 olasılıkla 1), ardından hedef vurulur. Bu deneyde bunu yapmak için 5 mermi gerekiyordu.

Şek. Şekil 33.7 açıklanan simülasyon süreci sırasında elde edilen zamanlama diyagramını göstermektedir. Diyagram, durum değiştirme sürecinin zaman içinde nasıl gerçekleştiğini gösterir. Bu durum için modelleme döngüsünün sabit bir değeri vardır. Bizim için önemli olan geçiş gerçeğidir (sistemin hangi duruma girdiği) ve bunun ne zaman olacağı önemli değil.

Hedefi yok etme prosedürü 5 saat döngüsünde tamamlanır, yani bu uygulamanın Markov zinciri şöyle görünür: S 0 — S 0 — S 1 S 1 S 1 S 2 . Elbette bu sayı sorunun cevabı olamaz çünkü farklı uygulamalar farklı cevaplar verecektir. Ve bir sorunun yalnızca tek bir yanıtı olabilir.

Bu simülasyonu tekrarlayarak, örneğin aşağıdaki gerçekleşmeleri elde edebilirsiniz (bu, hangi belirli rastgele sayıların göründüğüne bağlıdır): 4 ( S 0 — S 0 — S 1 S 1 S 2 ); 11 (S 0 — S 0 — S 0 — S 0 — S 0 — S 1 S 1 S 1 S 1 S 1 S 1 S 2 ); 5 (S 1 S 1 S 1 S 1 S 1 S 2 ); 6 (S 0 — S 0 — S 1 S 1 S 1 S 1 S 2 ); 4 (S 1 S 1 S 1 S 1 S 2 ); 6 (S 0 — S 0 — S 1 S 1 S 1 S 1 S 2 ); 5 (S 0 — S 0 — S 1 S 1 S 1 S 2 ). Toplam 8 hedef imha edildi. Ateşleme prosedüründeki ortalama döngü sayısı şuydu: (5 + 4 + 11 + 5 + 6 + 4 + 6 + 5)/8 = 5,75 veya yukarı yuvarlanırsa 6. Bu, ateşlenmesi tavsiye edilen ortalama mermi sayısıdır. Bu tür isabet olasılıklarına sahip hedeflerin imhası için savaş rezervinde bir silah bulundurun.

Şimdi doğruluğunu belirlememiz gerekiyor. Belirli bir cevaba ne kadar güvenmemiz gerektiğini bize gösterebilecek olan şey doğruluktur. Bunu yapmak için, rastgele (yaklaşık) yanıtlar dizisinin doğru (kesin) sonuca nasıl yakınlaştığını izleyelim. Merkeze göre şunu hatırlayalım. limit teoremi(bkz. ders 25, ders 21), rastgele değişkenlerin toplamı rastgele olmayan bir değerdir, bu nedenle istatistiksel olarak güvenilir bir cevap elde etmek için, bir dizi rastgele uygulamada elde edilen ortalama mermi sayısını izlemek gerekir.

Hesaplamaların ilk aşamasında ortalama cevap 5 mermi, ikinci aşamada ortalama cevap (5 + 4)/2 = 4,5 mermi, üçüncü aşamada (5 + 4 + 11)/3 = 6,7 oldu. Ayrıca, istatistikler biriktikçe bir dizi ortalama değer şu şekilde görünür: 6,3, 6,2, 5,8, 5,9, 5,8. Bu seriyi grafik olarak gösterirsek ortalama boyut Hedefi vurmak için atılan mermilerin deney sayısına bağlı olarak şu şekilde olacağı görülecektir: bu seri cevap olan belirli bir değere yakınsar (bkz. Şekil 33.8).

Görsel olarak grafiğin "sakinleştiğini", hesaplanan akım değeri ile onun değeri arasındaki farkın olduğunu gözlemleyebiliriz. teorik değer zamanla azalır ve istatistiksel olarak doğru bir sonuca yönelir. Yani, bir noktada grafik, boyutu cevabın doğruluğunu belirleyen belirli bir "tüp" içerisine girer.

Simülasyon algoritması aşağıdaki forma sahip olacaktır (bkz. Şekil 33.9).

Yukarıda ele aldığımız durumda geçişin hangi noktalarda gerçekleşeceğinin umurumuzda olmadığını bir kez daha belirtelim. Geçişler adım adım ilerliyor. Geçişin zamanın hangi noktasında gerçekleşeceğini ve sistemin her durumda ne kadar süre kalacağını belirtmek önemliyse, sürekli zaman modelinin uygulanması gerekir.

Sürekli zamanlı Markov rastgele süreçleri

Böylece, yine Markov sürecinin modelini, durumların (köşelerin) bağlantılarla (geçişler) birbirine bağlandığı bir grafik biçiminde temsil ediyoruz. Ben-'inci durum J-th durumu), bkz. 33.10.

Artık her geçiş, geçiş olasılığı yoğunluğuyla karakterize edilir λ ben. Tanım gereği:

Bu durumda yoğunluk, zaman içindeki olasılık dağılımı olarak anlaşılır.

Geçiş Ben-'inci durum J-e olur rastgele anlar geçişin yoğunluğuna göre belirlenen süre λ ben .

Geçişlerin yoğunluğuna (burada bu kavram, olasılık yoğunluğunun zaman içindeki dağılımı ile anlamda örtüşmektedir) T) süreç sürekli olduğunda, yani zamana dağıtıldığında geçer.

Akış yoğunluğuyla (ve geçişler olayların akışıdır) nasıl çalışılacağını zaten 28. derste öğrenmiştik. Yoğunluğu bilmek λ ben Bir iş parçacığı tarafından oluşturulan olayların görünümüyle, bu iş parçacığında iki olay arasındaki rastgele bir aralığı simüle edebilirsiniz.

Nerede τ ben sistemin içinde bulunduğu zaman aralığı Ben-ohm ve J-inci koşul.

Ayrıca, açıkçası, herhangi bir sistemden Ben-durum birkaç durumdan birine gidebilir J , J + 1 , J+ 2, , onunla ilişkili geçişler λ ben , λ ben + 1 , λ ben+2, .

İÇİNDE J-geçeceği durum τ ben; V ( J+ 1 )-geçeceği durum τ ben+ 1; V ( J+ 2)-geçeceği durum τ ben+2 vb.

Sistemin gidebileceği açık Ben-'inci durumdan bu durumlardan yalnızca birine ve geçişin daha önce gerçekleştiği duruma.

Bu nedenle, zaman dizisinden: τ ben , τ ben + 1 , τ ben+2 vb. minimumu seçmeniz ve endeksi belirlemeniz gerekir J, geçişin hangi duruma gerçekleşeceğini belirtir.

Örnek. Makine operasyonunun simülasyonu. Aşağıdaki durumlarda olabilecek makinenin çalışmasını simüle edelim (bkz. Şekil 33.10): S 0 makine çalışır durumda, serbest (kapalı kalma süresi); S 1 makine çalışıyor, meşgul (işliyor); S 2 makine çalışır durumda, takım değişimi (yeniden ayarlama) λ 02 < λ 21 ; S 3 makine arızalı, yenileme sürüyor λ 13 < λ 30 .

Parametre değerlerini ayarlayalım λ elde edilen deneysel verileri kullanarak üretim koşulları: λ İşleme için 01 akışı (değişim olmadan); λ 10 servis akışı; λ 13 ekipman arıza akışı; λ 30 kurtarma akışı.

Uygulama şu şekilde görünecektir (bkz. Şekil 33.11).

Özellikle, Şekil 2'den. 33.11'de uygulanan devrenin şöyle göründüğünü görebilirsiniz: S 0 — S 1 S 0 —… Geçişler aşağıdaki zaman noktalarında gerçekleşti: T 0 — T 1 T 2 T 3…, Nerede T 0 = 0 , T 1 = τ01, T 2 = τ 01 + τ 10.

Görev . Model, cevabı daha önce bizim için hiç de açık olmayan bir sorunu çözmek için kullanılabilecek şekilde oluşturulduğundan (bkz. ders 01), böyle bir sorunu şu şekilde formüle edeceğiz: bu örnek. Makinenin gün içerisinde boşta kaldığı sürenin oranını belirleyin (şekilden hesaplayın) T Av = ( T + T + T + T)/N .

Simülasyon algoritması aşağıdaki forma sahip olacaktır (bkz. Şekil 33.12).

Çoğu zaman Markov süreçlerinin aparatı, bilgisayar oyunlarının ve bilgisayar karakterlerinin eylemlerinin modellenmesinde kullanılır.

Markov rastgele süreçleri, adını seçkin Rus matematikçi A.A.'dan almıştır. Rastgele değişkenlerin olasılıksal ilişkisini incelemeye ilk başlayan ve “olasılık dinamiği” olarak adlandırılabilecek bir teori yaratan Markov (1856-1922). İÇİNDE diğer temel bilgiler bu teori ilk temeldi genel teori rastgele süreçlerin yanı sıra bu kadar önemli uygulamalı bilimler Difüzyon süreçleri teorisi, güvenilirlik teorisi, kuyruk teorisi vb. gibi. Şu anda Markov süreçleri teorisi ve uygulamaları çoğu alanda yaygın olarak kullanılmaktadır. çeşitli alanlar Mekanik, fizik, kimya gibi bilimler.

Matematiksel aparatın karşılaştırmalı basitliği ve netliği sayesinde elde edilen çözümlerin yüksek güvenilirliği ve doğruluğu özel ilgi Markov süreçleri yöneylem araştırması ve optimal karar teorisiyle ilgilenen uzmanlardan elde edildi.

Yukarıdaki basitlik ve açıklığa rağmen, pratik uygulama Markov zincirleri teorisi, örnekleri sunmadan önce tartışılması gereken bazı terimlerin ve temel ilkelerin bilinmesini gerektirir.

Belirtildiği gibi Markov rastgele süreçleri, rastgele süreçlerin (SP) özel durumlarını ifade eder. Rastgele süreçler ise rastgele fonksiyon (SF) kavramına dayanmaktadır.

Rastgele fonksiyon, argümanın herhangi bir değeri için değeri rastgele bir değişken (RV) olan bir fonksiyondur. Başka bir deyişle SF'ye, her testte önceden bilinmeyen bir form alan bir fonksiyon denilebilir.

Bu tür SF örnekleri şunlardır: voltaj dalgalanmaları elektrik devresi, hız sınırı olan bir yol bölümünde bir arabanın hızı, belirli bir alandaki bir parçanın yüzey pürüzlülüğü vb.

Kural olarak, eğer SF'nin argümanı zaman ise, böyle bir sürecin rastgele olarak adlandırıldığına inanılmaktadır. Rastgele süreçlerin karar teorisine daha yakın başka bir tanımı daha vardır. Bu durumda rastgele bir süreç, herhangi bir fiziksel veya nesnenin durumlarındaki rastgele değişimlerin süreci olarak anlaşılmaktadır. teknik sistem zamana veya başka bir argümana göre.

Bir durumu belirlerseniz ve bir bağımlılığı tasvir ederseniz, bu tür bir bağımlılığın rastgele bir fonksiyon olacağını görmek kolaydır.

Rastgele süreçler durum türlerine ve t argümanına göre sınıflandırılır. Bu durumda rastgele süreçler ayrık veya sürekli durumlar veya zaman.

Yukarıdaki rastgele süreçlerin sınıflandırılmasına ilişkin örneklere ek olarak, bir tane daha var önemli özellik. Bu özellik, rastgele süreçlerin durumları arasındaki olasılıksal bağlantıyı açıklar. Dolayısıyla, örneğin, rastgele bir süreçte sistemin sonraki her duruma geçme olasılığı yalnızca önceki duruma bağlıysa, o zaman böyle bir sürece, sonradan etkisi olmayan bir süreç denir.

Öncelikle ayrık durumları ve zamanı olan rastgele bir sürecin rastgele dizi olarak adlandırıldığını belirtelim.

Rastgele bir dizi Markov özelliğine sahipse buna Markov zinciri denir.

Öte yandan, rastgele bir süreçte durumlar ayrıksa, zaman sürekliyse ve sonuç etkisi özelliği korunuyorsa, bu tür rastgele bir sürece sürekli zamanlı Markov süreci adı verilir.

Geçiş olasılıkları süreç boyunca sabit kalıyorsa, Markov rastgele sürecinin homojen olduğu söylenir.

İki koşulun sağlanması durumunda Markov zincirinin verildiği kabul edilir.

1. Matris biçiminde bir dizi geçiş olasılığı vardır:

2. Başlangıç ​​olasılıklarının bir vektörü vardır

sistemin başlangıç ​​durumunu tanımlar.

Hariç matris formu Markov zinciri modeli yönlendirilmiş ağırlıklı bir grafik olarak temsil edilebilir (Şekil 1).

Pirinç. 1

Markov zinciri sisteminin durum kümesi, sistemin sonraki davranışı dikkate alınarak belirli bir şekilde sınıflandırılır.

1. Geri dönüşü olmayan set (Şekil 2).

Şekil 2.

Geri dönmeyen bir küme olması durumunda, bu küme içinde her türlü geçiş mümkündür. Sistem bu setten çıkabilir ancak geri dönemez.

2. Seti geri getirin (Şek. 3).

Pirinç. 3.

Bu durumda set içerisinde herhangi bir geçiş de mümkündür. Sistem bu kümeye girebilir ancak çıkamaz.

3. Ergodik set (Şek. 4).

Pirinç. 4.

Ergodik bir küme durumunda, küme içinde herhangi bir geçiş mümkündür, ancak kümeden ve kümeye geçişler hariç tutulmuştur.

4. Emici set (Şek. 5)

Pirinç. 5.

Sistem bu sete girdiğinde işlem sona erer.

Bazı durumlarda sürecin rastlantısallığına rağmen, belli bir dereceye kadar dağıtım yasalarını veya geçiş olasılıklarının parametrelerini kontrol edin. Bu tür Markov zincirlerine kontrollü denir. Açıkçası, kontrollü Markov zincirlerinin (CMC) yardımıyla, daha sonra tartışılacağı gibi karar verme süreci özellikle etkili hale gelir.

Ayrık Markov zincirinin (DMC) ana özelliği, sürecin bireysel adımları (aşamaları) arasındaki zaman aralıklarının belirlenmesidir. Bununla birlikte, gerçek süreçlerde çoğu zaman bu özellik gözlenmez ve sürecin Markov özelliği korunmasına rağmen bazı dağıtım yasalarında aralıkların rastgele olduğu ortaya çıkar. Çok rastgele diziler yarı-Markoviyen denir.

Ek olarak, yukarıda belirtilen belirli durum kümelerinin varlığı ve yokluğu dikkate alındığında, Markov zincirleri, en az bir soğurucu durum varsa soğurucu olabilir veya geçiş olasılıkları ergodik bir küme oluşturuyorsa ergodik olabilir. Ergodik zincirler ise düzenli veya döngüsel olabilir. Döngüsel zincirler, belirli sayıda adımdan (döngü) geçişler sırasında bir duruma geri dönüşün meydana gelmesi bakımından normal zincirlerden farklıdır. Normal zincirlerin bu özelliği yoktur.

Bundan sonra evrimi değeri belirle zaman parametresi t önceki evrime bağlı değildir T, sürecin şu andaki değerinin sabit olması şartıyla (kısacası: sürecin “geleceği” ve “geçmişi” bilinen bir “şimdi” ile birbirine bağlı değildir).

Manyetik alanı tanımlayan özelliğe genellikle denir. Markovian; ilk olarak A. A. Markov tarafından formüle edildi. Bununla birlikte, L. Bachelier'in çalışmasında, Brown hareketini manyetik bir süreç olarak yorumlama girişimini fark etmek mümkündür; bu girişim, N. Wiener'in (N. Wiener, 1923) araştırmasından sonra gerekçelendirilmiştir. Sürekli zamanlı manyetik süreçlere ilişkin genel teorinin temelleri A. N. Kolmogorov tarafından atılmıştır.

Markov'un mülkü. M.'nin birbirinden önemli ölçüde farklı tanımları vardır. En yaygın olanlardan biri şudur. Hadi olasılık alanıölçülebilir bir uzaydan gelen değerlere sahip rastgele bir süreç verilir; burada T - alt küme gerçek eksenİzin vermek NT(sırasıyla NT).içinde bir s-cebiri var X(s).at miktarları tarafından üretilir Nerede Başka bir deyişle, NT(sırasıyla NT) t anına kadar (t'den başlayarak) sürecin gelişimiyle ilişkili bir dizi olaydır. . Süreç X(t). denir Markov özelliği (neredeyse kesinlikle) herkes için geçerliyse Markov süreci:

veya herhangi biri için aynı şey nedir?

M. p., T'nin sette yer aldığı doğal sayılar, isminde Markov zinciri(ancak ikinci terim çoğunlukla en fazla sayılabilir E durumuyla ilişkilendirilir) . Sayılabilenden büyük bir aralık ise M. çağrılır. sürekli zamanlı Markov zinciri. Sürekli zamanlı manyetik süreçlerin örnekleri, Poisson ve Wiener süreçleri dahil olmak üzere difüzyon süreçleri ve bağımsız artışlara sahip süreçler tarafından sağlanır.

Gelecekte, kesinlik sağlamak için, yalnızca Formül (1) ve (2)'nin bilinen bir "şimdi" ile "geçmiş" ve "gelecek"ten bağımsızlığı ilkesinin net bir yorumunu sağladığı durumdan bahsedeceğiz, ancak M. p.'nin bunlara dayalı tanımının, üzerinde anlaşmaya varılmış olmasına rağmen farklı olanlara karşılık gelen bir değil, (1) veya (2) tipi koşulları dikkate almanın gerekli olduğu çok sayıda durumda yeterince esnek olmadığı ortaya çıktı. Bu tür düşünceler bir bakıma benimsenmesine yol açtı. aşağıdaki tanım(santimetre. , ).

Şunlar verilsin:

a) s-cebirinin E'deki tüm tek noktalı kümeleri içerdiği ölçülebilir bir uzay;

b) bir s-cebir ailesi ile donatılmış ölçülebilir bir uzay;

c) fonksiyon (“yörünge”) x t =xT(w) , ölçülebilir herhangi bir haritalama için tanımlama

d) her biri için ve s-cebiri üzerinde, fonksiyonun if ve ile ilgili olarak ölçülebilir olduğu bir olasılık ölçüsü.

İsim seti (sonlanmayan) if -neredeyse kesin olarak tanımlanan Markov süreci

her ne iseler, burası uzay temel olaylar, - faz uzayı veya durum uzayı, P( s, x, t, V)- geçiş işlevi veya X(t) sürecinin geçiş olasılığı . Eğer E topolojiye sahipse ve Borel kümelerinin bir koleksiyonu ise E, o zaman M. p'nin verildiğini söylemek gelenekseldir. E. Tipik olarak M. p'nin tanımı, aşağıdaki şartla, bir olasılık olarak yorumlanması gerekliliğini içerir: x s =x.

Şu soru ortaya çıkıyor: Her Markov geçiş fonksiyonu P( s, x;t, V), ölçülebilir bir uzayda verilen, belirli bir M. uzayının bir geçiş fonksiyonu olarak düşünülebilir. Örneğin, E ayrılabilir yerel olarak kompakt bir uzaysa ve Borel kümelerinin bir koleksiyonuysa cevap pozitiftir. E.Üstelik izin ver E - tam metrik boşluk bırak ve bırak

A - bir noktanın e-komşuluğunun tamamlayıcısı X. Daha sonra karşılık gelen manyetik alanın sağda sürekli olduğu ve solda sınırları olduğu düşünülebilir (yani yörüngeleri bu şekilde seçilebilir). Sürekli bir manyetik alanın varlığı (bkz., ) koşuluyla sağlanır. Mekanik süreçler teorisinde, homojen (zaman içinde) süreçlere asıl dikkat gösterilmektedir. İlgili tanım şunu ima eder: verilen sistem nesneler a) - d) açıklamasında görünen s ve u parametreleri için artık yalnızca 0 değerine izin veriliyor. Gösterim de basitleştirildi:

Ayrıca, W uzayının homojenliği varsayılır, yani herhangi biri için (w)'nin var olması gerekir. Bundan dolayı s-cebirinde N, W cinsinden herhangi bir olayı içeren s-cebirlerinin en küçüğü, zaman kaydırma operatörleri q verilir T Kümelerin birleştirme, kesişme ve çıkarma işlemlerini koruyan ve bunun için

İsim seti if -neredeyse kesinlikle şeklinde tanımlanan (sonlanmayan) homojen Markov süreci

X(t) sürecinin Geçiş fonksiyonu için P( olarak kabul edilir) t, x, V) ve, özel çekinceler olmadığı sürece, ek olarak şunları gerektirirler. (4)'ü kontrol ederken yalnızca (4)'teki her zaman nerede ve ne olan form kümelerini dikkate almanın yeterli olduğunu akılda tutmak yararlı olacaktır. ft s-cebiri ile değiştirilebilir, kesişme noktasına eşit ikmaller ft Tüm olası ölçümler için genellikle bir olasılık ölçüsü m (“başlangıç ​​dağılımı”) sabittir ve Markov. rastgele fonksiyon eşitliğin verdiği ölçü nerede

M.p. aradı. fonksiyon her t>0 için s-cebirinin nerede olduğu ölçülebilir bir haritalamaya neden oluyorsa aşamalı olarak ölçülebilir

Borel alt kümeleri . Sağ sürekli MP'ler aşamalı olarak ölçülebilir. Azaltmanın bir yolu var heterojen durum homojen (bkz.) ve gelecekte homojen M. öğelerinden bahsedeceğiz.

Kesinlikle Markov mülkü.Ölçülebilir bir uzayın m ile verilebileceğini varsayalım.

Fonksiyon çağrılır Markov anı, Eğer herkes için Bu durumda, küme bir F t ailesi olarak sınıflandırılır (çoğunlukla F t, X(t)'nin t anına kadar evrimi ile ilişkili bir olaylar dizisi olarak yorumlanır). İnanmak için

Aşamalı olarak ölçülebilir M. s. kesinlikle Markov süreci (s.m.p.), eğer herhangi bir Markov anı için m ve tümü ve ilişki

(kesinlikle Markov özelliği) W t kümesinde neredeyse kesinlikle geçerlidir. (5)'i kontrol ederken, yalnızca bu durumda simetrik uzayın, örneğin bir topolojikteki herhangi bir sağ-sürekli Fellerian boyutlu uzay olduğu formdaki kümeleri dikkate almak yeterlidir. uzay E. M.p. aradı. Feller Markov süreci eğer fonksiyon

f sürekli ve sınırlı olduğunda süreklidir.

Sınıfta. e.n. belirli alt sınıflar ayırt edilir. Markov geçiş fonksiyonu P( t, x, V), bir metrik yerel olarak kompakt uzayda tanımlanmış E, stokastik olarak sürekli:

her noktanın herhangi bir U komşuluğu için. Bu durumda, eğer operatörler sonsuzda sıfır olan sürekli fonksiyonların sınıfını alırlarsa, o zaman P( fonksiyonları) olur. t, x, V) M. s standardını karşılar. X, yani sağda sürekli. m.p., bunun için

Markov sürecinin sonlandırılması.Çoğunlukla fiziksel Sistemlerin sonlanmayan bir manyetik alan kullanarak, ancak yalnızca rastgele uzunluktaki bir zaman aralığında tanımlanması tavsiye edilir. Üstelik hatta basit dönüşümler Milletvekilleri, üzerinde belirtilen yörüngelere sahip bir sürece öncülük edebilir. rastgele aralık(santimetre. "İşlevsel" Markov sürecinden). Bu düşüncelerin rehberliğinde bozuk MP kavramı tanıtıldı.

Faz uzayında geçiş fonksiyonuna sahip homojen bir manyetik alan olsun ve için ve aksi şeklinde bir nokta ve fonksiyon olsun (özel bir çekince yoksa, düşünün). Yeni yörünge x t(w) yalnızca ) için a eşitliği yoluyla belirtilir ft bir kümedeki iz olarak tanımlanır

Aranan yeri ayarla z zamanında sonlandırılarak (veya sonlandırılarak) elde edilen, sonlandıran bir Markov süreci (o.m.p.) ile. Z değeri denir mola anı veya yaşam süresi, o. e.n. Faz uzayı yeni süreç s-cebirinin izinin olduğu yerde hizmet eder E. Geçiş fonksiyonu o. e.n., Proses X(t) kümesine yönelik bir kısıtlamadır. tam anlamıyla bir Markov süreci veya standart bir Markov süreci karşılık gelen özellik kırılmaz bir M'ye sahiptir. p olarak kabul edilebilir. e.n. kırılma anı ile Heterojen o. m.p. benzer şekilde belirlenir. M.

Markov süreçleri ve diferansiyel denklemler. M. s. Brown hareketi parabolik diferansiyel denklemlerle yakından ilişkilidir. tip. Geçiş yoğunluğu p(s), x, t, y Difüzyon sürecinin )'si, belirli ek varsayımlar altında Kolmogorov'un ters ve doğrudan diferansiyel denklemlerini karşılar:

Fonksiyon p( s, x, t, y).(6) - (7) denklemlerinin Green fonksiyonudur ve ilk bilinen yöntemler Difüzyon süreçlerinin inşası, bu fonksiyonun varlığına ilişkin teoremlere dayanıyordu. diferansiyel denklemler(6) - (7). Zaman açısından homojen bir süreç için L( operatörü s, x)= L(x).açık pürüzsüz işlevler karakteristikle eşleşiyor operatör M. s. "Geçiş operatörleri yarı grubu").

Matematik. Çeşitli işlevlerin yayılma süreçlerinden beklentileri, karşılık gelen sorunlara çözüm olarak hizmet eder. sınır değeri problemleri diferansiyel denklem için (1). Let - matematiksel. ölçüdeki beklenti O halde fonksiyon şu noktada karşılanır: denklemi (6) ve koşulu

Aynı şekilde, fonksiyon

ile tatmin olur denklemi

ve koşul ve 2 ( T, x) = 0.

Sınıra ilk varılan an olsun gdd bölge süreç yörüngesi Daha sonra belirli koşullar altında fonksiyon

denklemi karşılıyor

ve setteki cp değerlerini alır

Genel bir doğrusal parabolik için 1. sınır değer probleminin çözümü. 2. dereceden denklemler

oldukça genel varsayımlar altında şu şekilde yazılabilir:

L operatörünün ve fonksiyonlarının olması durumunda s, f bağlı değil S, Doğrusal bir eliptiğin çözümü için (9)'a benzer bir gösterim de mümkündür. denklemler Daha doğrusu, işlev

belirli varsayımlar altında sorunun bir çözümü vardır

L operatörünün dejenere olması durumunda (del b( s, x) = 0 ).veya kenarlık gdd yeterince "iyi" değildir; sınır değerleri, (9), (10) fonksiyonları tarafından tek tek noktalarda veya tüm kümelerde kabul edilmeyebilir. Bir operatör için düzenli sınır noktası kavramı L olasılıksal bir yorumu vardır. Sınırın düzenli noktalarında sınır değerlerine fonksiyonlar (9), (10) ile ulaşılır. Problemleri (8), (11) çözmek, karşılık gelen difüzyon süreçlerinin özelliklerini ve bunların işlevlerini incelememize olanak tanır.

Örneğin, (6), (7) denklemlerinin çözümlerinin oluşturulmasına dayanmayan MP'lerin oluşturulmasına yönelik yöntemler vardır. yöntem stokastik diferansiyel denklemler, kesinlikle sürekli ölçüm değişimi vb. Bu durum, formüller (9), (10) ile birlikte, denklem (8) için sınır değer problemlerinin özelliklerini ve ayrıca çözüm özelliklerini olasılıksal olarak oluşturmamıza ve incelememize olanak tanır. karşılık gelen eliptik. denklemler

Stokastik diferansiyel denklemin çözümü b( matrisinin dejenerasyonuna karşı duyarsız olduğundan s, x), O olasılıksal yöntemler dejenere eliptik ve parabolik diferansiyel denklemlerin çözümlerini oluşturmak için kullanıldı. N. M. Krylov ve N. N. Bogolyubov'un ortalama alma ilkesinin stokastik diferansiyel denklemlere genişletilmesi, (9) kullanılarak eliptik ve parabolik diferansiyel denklemler için karşılık gelen sonuçların elde edilmesini mümkün kıldı. Bazı zor görevler En yüksek türevde küçük parametreli bu tür denklemlerin çözümlerinin özellikleri üzerine yapılan çalışmaların olasılıksal değerlendirmeler kullanılarak çözülmesinin mümkün olduğu ortaya çıktı. Denklem (6) için 2. sınır değer probleminin çözümü de olasılıksal bir anlam taşımaktadır. Sınırsız bir alan için sınır değer problemlerinin formülasyonu, karşılık gelen difüzyon sürecinin tekrarlanmasıyla yakından ilgilidir.

Zaman açısından homojen bir süreç durumunda (L, s'ye bağlı değildir), denklemin çarpımsal bir sabite kadar pozitif çözümü, belirli varsayımlar altında aşağıdakilerle çakışır: sabit yoğunluk MP dağılımları, doğrusal olmayan parabolikler için sınır değeri problemleri dikkate alınırken olasılıksal değerlendirmelerin de yararlı olduğu ortaya çıkar. denklemler. R. 3. Khasminsky.

Yaktı.: Markov A. A., "İzvestia. Kazan Üniversitesi Fizik-Matematik Topluluğu", 1906, cilt 15, Sayı 4, s. 135-56; Vashelier L., "Ann. scient. Ecole normu, süper.", 1900, v. 17, s. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; rus. Çeviri - "Uspekhi Matematicheskikh Nauk", 1938, yüzyıl. 5, s. 5-41; Zhun Kai-lai, Homojen Markov zincirleri, çev. İngilizce'den, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, s. 417-36; Dynkin E.B., Yushkevich A.A., " Teori muhtemelen. ve uygulamaları.", 1956, cilt 1, cilt 1, s. 149-55; X ve n t J.-A., Markov süreçleri ve potansiyelleri, İngilizceden çevrilmiş, M., 1962; D e l la sher ve K., Kapasiteler ve rastgele süreçler, Fransızca'dan tercüme, M., 1975; Dynkin E.V., Markov süreçleri teorisinin temelleri, M., 1963; G ihman I.I., Skoro h od A.V. , Rastgele Süreçler Teorisi, cilt 2, M., 1973; Kitapta: Olasılık Teorisinin Sonuçları. matematiksel istatistik. - Teorik sibernetik. 1966, M., 1967, s. 7-58; X as Minsky R. 3., “Olasılık teorisi ve uygulamaları,” 1963, cilt 8, içinde. . 1, s. 3-25; Ventzel A.D., Freidlin M.I., Dalgalanmalar dinamik sistemler küçük rastgele bozuklukların etkisi altında, M., 1979; Blumenthal R.M., Getor R.K., Markov süreçleri ve potansiyel teorisi, N.Y.-L., 1968; Getоor R. K., Markov süreçleri: Ray süreçleri ve doğru süreçler, V., 1975; Kuznetsov S. E., “Olasılık teorisi ve uygulamaları,” 1980, cilt 25, yüzyıl. 2, s. 389-93.

Kuyruk sistemlerinin yapısı ve sınıflandırılması

Kuyruk sistemleri

Çoğu zaman kuyruk sistemleri (QS) ile ilişkili olasılıksal problemleri çözmeye ihtiyaç vardır; bunların örnekleri:

Bilet ofisleri;

Tamir atölyeleri;

Ticaret, taşımacılık, enerji sistemleri;

İletişim sistemleri;

Bu tür sistemlerin ortaklığı birlik içinde ortaya çıkar matematiksel yöntemler ve faaliyetlerinin incelenmesinde kullanılan modeller.

Pirinç. 4.1. TMO'nun ana uygulama alanları

QS'ye giriş, bir hizmet istekleri akışı alır. Örneğin müşteriler veya hastalar, ekipman arızaları, telefon görüşmeleri. İstekler düzensiz, rastgele zamanlarda gelir. Hizmetin süresi de rastgeledir. Bu, QS'nin çalışmasında düzensizlik yaratır ve aşırı ve az yüklenmesine neden olur.

Kuyruk sistemleri var farklı yapı ancak genellikle ayırt edilebilirler. dört temel unsur:

1. Gelen gereksinim akışı.

2. Depolama (sıra).

3. Cihazlar (servis kanalları).

4. Çıkış.

Pirinç. 4.2. Genel şema kuyruk sistemleri

Pirinç. 4.3. Sistem çalışma modeli

(oklar gereksinimlerin alındığı anları gösterir

sistem, dikdörtgenler – servis süresi)

Şekil 4.3a, düzenli gereksinim akışına sahip bir sistemin işleyişine ilişkin bir modeli göstermektedir. Taleplerin gelişleri arasındaki süre bilindiğinden servis süresi sistemi tam olarak yükleyecek şekilde seçilir. Stokastik gereksinim akışına sahip bir sistem için durum tamamen farklıdır; gereksinimler devreye girer çeşitli anlar zaman ve hizmet süresi de bazı dağıtım yasalarıyla tanımlanabilecek rastgele bir değişkendir (Şekil 4.3 b).

Sıralama kurallarına bağlı olarak aşağıdaki QS'ler ayırt edilir:

1) arızalı sistemler , tüm hizmet kanalları meşgul olduğunda, istek sistemi hizmetsiz bırakır;

2) sınırsız kuyruklu sistemler , bir isteğin alındığı sırada tüm hizmet kanalları meşgulse kuyruğa girdiği;

3) bekleme ve sınırlı kuyruklu sistemler Bekleme süresinin bazı koşullarla sınırlı olduğu veya kuyruktaki başvuru sayısında kısıtlamaların olduğu durumlar.

Gelen gereksinim akışının özelliklerini ele alalım.

İhtiyaç akışı denir sabit Belirli sayıda olayın belirli uzunluktaki bir zaman dilimine düşme olasılığı yalnızca bu kesitin uzunluğuna bağlıysa.

Olay akışı denir sonuçsuz akış Belirli bir zaman dilimine düşen olayların sayısı, diğerlerine düşen olayların sayısına bağlı değilse.

Olay akışı denir sıradan İki veya daha fazla olayın aynı anda gerçekleşmesi mümkün değilse.

İhtiyaç akışı denir Poisson (veya en basiti) eğer üç özelliğe sahipse: sabit, sıradan ve hiçbir sonucu olmayan. Adı, yürütülürken belirtilen koşullar Herhangi bir sabit zaman aralığına düşen olayların sayısı Poisson yasasına göre dağıtılacaktır.

Yoğunluk Uygulama akışı λ, birim zaman başına akıştan gelen ortalama uygulama sayısıdır.

Durağan bir akış için yoğunluk sabittir. τ iki komşu talep arasındaki zaman aralığının ortalama değeri ise, Poisson akışı durumunda hizmete ulaşma olasılığı M belli bir süre için başvurular T Poisson yasasına göre belirlenir:

Komşu istekler arasındaki süre aşağıdakilere göre dağıtılır: üstel yasa olasılık yoğunluğu ile

Hizmet süresi rastgele bir değişkendir ve üstel yasa olasılık yoğunluğuna sahip dağılımlar μ servis akışının yoğunluğudur, yani. birim zaman başına sunulan ortalama istek sayısı,

Gelen akışın yoğunluğunun servis akışının yoğunluğuna oranına denir. sistem önyüklemesi

Kuyruk sistemi, sonlu veya sayılabilir durum kümesine sahip ayrı tipte bir sistemdir ve sistemin bir durumdan diğerine geçişi, bir olay meydana geldiğinde aniden meydana gelir.

Süreç denir ayrık durumlarla süreç , eğer olası durumları önceden yeniden numaralandırılabiliyorsa ve sistemin durumdan duruma geçişi neredeyse anında gerçekleşir.

Bu tür süreçlerin iki türü vardır: ayrık veya sürekli zaman.

Ayrık zaman durumunda, durumdan duruma geçişler zaman içinde kesin olarak tanımlanmış noktalarda meydana gelebilir. Sürekli zamanlı süreçler, sistemin herhangi bir zamanda yeni bir duruma geçebilmesiyle ayırt edilir.

Rastgele bir süreç, argümanın her değerinin (içinde) olduğu bir yazışmadır. bu durumda– deneyin zaman periyodundan bir an) rastgele bir değişkenle (bu durumda QS'nin durumu) ilişkilendirilir. Rastgele değişken deneyim sonucunda bir şeyi üstlenebilen ancak hangisinin olacağı önceden bilinmeyen bir niceliktir. sayısal değer belirli bir sayı kümesinden.

Bu nedenle kuyruk teorisindeki problemleri çözmek için bu rastgele süreci incelemek gerekir; Matematiksel modelini oluşturun ve analiz edin.

Rastgele süreç isminde Markoviyen Gelecekteki sürecin olasılıksal özellikleri herhangi bir an için yalnızca o andaki durumuna bağlıysa ve sistemin bu duruma ne zaman ve nasıl geldiğine bağlı değilse.

Sistemin durumdan duruma geçişleri bazı akışların (başvuru akışı, ret akışı) etkisi altında gerçekleşir. Sistemi yeni bir duruma getiren tüm olay akışları en basit Poisson ise, o zaman sistemde meydana gelen süreç Markov olacaktır, çünkü en basit akışın bir sonucu yoktur: içinde gelecek geçmişe bağlı değildir. .