માર્કોવ સાંકળની સંક્રમણ અવસ્થાઓનો મેટ્રિક્સ. માર્કોવ સાંકળો

1. મેટ્રિક્સ P2રાજ્યમાંથી સર્કિટનું સંક્રમણ iએક રાજ્યમાં jબે માં
પગલું

2. આ ક્ષણે રાજ્યો પર સંભાવનાનું વિતરણ t=2;

3. આ ક્ષણે સંભાવના છે tસર્કિટની =1 સ્થિતિ હશે A2;

4. સ્થિર વિતરણ.

ઉકેલ.અલગ માર્કોવ સાંકળ માટે, જો તે સજાતીય હોય, તો નીચેનો સંબંધ સાચો છે:

જ્યાં P1 એ એક પગલામાં સંક્રમણ સંભાવનાઓનું મેટ્રિક્સ છે;
Рn - n પગલાંઓ માટે સંક્રમણ સંભાવનાઓનું મેટ્રિક્સ;

1. બે પગલામાં P2 સંક્રમણ મેટ્રિક્સ શોધો

રાજ્યો પર સંભાવનાનું વિતરણ ચાલુ રહેવા દો એસમી પગલું વેક્ટર દ્વારા નક્કી કરવામાં આવે છે
.
મેટ્રિક્સ જાણવું પી.એન n પગલાંઓમાં સંક્રમણ, અમે રાજ્યો પર સંભાવના વિતરણ નક્કી કરી શકીએ છીએ (S+n)-મું પગલું . (5)

2. ચાલો આ ક્ષણે સિસ્ટમના રાજ્યો પર સંભાવના વિતરણ શોધીએ t=2. ચાલો મૂકીએ (5) એસ=0 અને n=2. પછી .

અમે તે મેળવીશું.

3. ચાલો આ ક્ષણે સિસ્ટમના રાજ્યો પર સંભાવના વિતરણ શોધીએ t=1.

ચાલો મૂકીએ (5) s=0 અને n=1, પછી.
આપણે કેવી રીતે જોઈ શકીએ છીએ કે આ ક્ષણે સંભાવના છે tસર્કિટની =1 સ્થિતિ હશે A2,સમાન p2(1)=0,69.
રાજ્યો પર સંભાવના વિતરણને સ્થિર કહેવામાં આવે છે જો તે સ્ટેપ-ટુ-સ્ટેપમાં બદલાતું નથી, એટલે કે
પછી સંબંધથી (5) ખાતે n=1 આપણને મળે છે

4. ચાલો સ્થિર વિતરણ શોધીએ. =2 થી અમારી પાસે =(р1; р2). ચાલો સિસ્ટમ લખીએ રેખીય સમીકરણો(6) માં સંકલન સ્વરૂપ

છેલ્લી સ્થિતિને સામાન્યકરણ કહેવામાં આવે છે. સિસ્ટમમાં (6) એક સમીકરણ હંમેશા અન્યનું રેખીય સંયોજન હોય છે. તેથી, તેને પાર કરી શકાય છે. ચાલો સિસ્ટમના પ્રથમ સમીકરણ અને સામાન્યીકરણ સમીકરણને એકસાથે હલ કરીએ. અમારી પાસે 0.6 છે p1=0,3p2, એટલે કે p2=2p1. પછી p1+2p1=1 અથવા, એટલે કે. આથી, .
જવાબ:
1) આપેલ માર્કોવ સાંકળ માટે બે પગલામાં સંક્રમણ મેટ્રિક્સનું સ્વરૂપ છે ;
2) આ ક્ષણે રાજ્યો પર સંભાવનાનું વિતરણ t=2 બરાબર ;
3) આ ક્ષણે સંભાવના tસર્કિટની =1 સ્થિતિ હશે A2, સમાન છે p2(t)=0,69;
4) સ્થિર વિતરણ ફોર્મ ધરાવે છે

મેટ્રિક્સ આપેલ છે સતત માર્કોવ સાંકળની સંક્રમણ તીવ્રતા. મેટ્રિક્સ Λ ને અનુરૂપ લેબલ થયેલ સ્ટેટ ગ્રાફ બનાવો; એક સિસ્ટમ બનાવો વિભેદક સમીકરણોરાજ્ય સંભાવનાઓ માટે કોલમોગોરોવ; મર્યાદિત સંભાવના વિતરણ શોધો. ઉકેલ.મર્યાદિત સંખ્યામાં રાજ્યો સાથે સજાતીય માર્કોવ સાંકળ A1, A2,…એસંક્રમણ તીવ્રતાના મેટ્રિક્સ દ્વારા વર્ગીકૃત થયેલ છે ,

જ્યાં - રાજ્યમાંથી માર્કોવ સાંકળના સંક્રમણની તીવ્રતા એઆઈએક રાજ્યમાં એજે; рij(Δt)- સંક્રમણની સંભાવના Ai→અજસમય અંતરાલ દીઠ Δ t.

રાજ્યથી રાજ્યમાં સિસ્ટમના સંક્રમણો લેબલવાળા રાજ્ય ગ્રાફનો ઉપયોગ કરીને અનુકૂળ રીતે સ્પષ્ટ કરવામાં આવે છે, જેના પર તીવ્રતાને અનુરૂપ ચાપ ચિહ્નિત કરવામાં આવે છે. λ ij>0. ચાલો આપેલ સંક્રમણ તીવ્રતા મેટ્રિક્સ માટે લેબલ થયેલ સ્ટેટ ગ્રાફ બનાવીએ

સંભાવનાઓનું વેક્ટર બનવા દો આરj(t),
j=1, 2,…,, સિસ્ટમ રાજ્યમાં છે એjઆ ક્ષણે t.

દેખીતી રીતે 0≤ આરj(t)≤1 અને. પછી, સ્કેલર દલીલના વેક્ટર ફંક્શનના ભિન્નતાના નિયમ અનુસાર, આપણે મેળવીએ છીએ . સંભાવનાઓ આરj(t)કોલમોગોરોવ વિભેદક સમીકરણો (SDEK) ની સિસ્ટમને સંતોષે છે, જેમાં મેટ્રિક્સ ફોર્મજેવો દેખાય છે. (7)

જો પ્રારંભિક ક્ષણે સિસ્ટમ રાજ્યમાં હતી એજે, પછી SDUK ને પ્રારંભિક શરતો હેઠળ ઉકેલવું જોઈએ
આરi(0)=1, рj(0)=0, j≠i,j=1, 2,…,. (8)
SDUK (7) નો સમૂહ અને પ્રારંભિક શરતો(8) અનોખી રીતે એક સમાન માર્કોવ સાંકળનું વર્ણન કરે છે સતત સમયઅને મર્યાદિત સંખ્યામાં રાજ્યો.
ચાલો આપેલ માર્કોવ સાંકળ માટે SDEK કંપોઝ કરીએ. ત્યારથી =3, પછી j=1, 2, 3.

સંબંધમાંથી (7) આપણે મેળવીએ છીએ

.
અહીંથી આપણી પાસે હશે

છેલ્લી સ્થિતિને સામાન્યકરણ કહેવામાં આવે છે.
રાજ્યો પર સંભાવના વિતરણ કહેવામાં આવે છે સ્થિર, જો તે સમય સાથે બદલાતું નથી, એટલે કે, ક્યાં આરj=const, j=1,2,…,. અહીંથી .

પછી SDUK (7) થી અમે સ્થિર વિતરણ શોધવા માટેની સિસ્ટમ મેળવીએ છીએ
(9)
આ સમસ્યા માટે, SDUK માંથી અમારી પાસે હશે

નોર્મલાઇઝેશન કન્ડિશનમાંથી આપણે મેળવીએ છીએ 3ર2+ર2+ર2=1અથવા . તેથી, મર્યાદા વિતરણ ફોર્મ ધરાવે છે.
નોંધ કરો કે જો આપણે આ નિયમનો ઉપયોગ કરીએ તો આ પરિણામ સીધા લેબલવાળા સ્ટેટ ગ્રાફમાંથી મેળવી શકાય છે: સ્થિર વિતરણ માટે, ઉત્પાદનોનો સરવાળો λ જીpi, j≠i, તરફથી આવતા તીરો માટે i-મી સ્થિતિ ઉત્પાદનોના સરવાળા જેટલી છે λ જીpi, j≠i, માં સમાવિષ્ટ તીરો માટે i-મું રાજ્ય. ખરેખર,

તે સ્પષ્ટ છે કે પરિણામી સિસ્ટમ SDUK નો ઉપયોગ કરીને સંકલિત સિસ્ટમની સમકક્ષ છે. તેથી તેની પાસે સમાન ઉકેલ છે.
જવાબ: સ્થિર વિતરણ ફોર્મ ધરાવે છે.

વ્યાખ્યા.માર્કોવ સાંકળને સજાતીય કહેવામાં આવે છે જો શરતી સંભાવના (રાજ્યથી રાજ્યમાં સંક્રમણ) ટ્રાયલ નંબર પર આધારિત ન હોય. તેથી જ તેઓ તેના બદલે ફક્ત લખે છે.

ઉદાહરણ 1.રેન્ડમ વોક. પૂર્ણાંક સંકલન સાથે એક બિંદુ પર એક સીધી રેખા પર એક ભૌતિક કણ રહેવા દો. ચોક્કસ ક્ષણો પર કણ આંચકા અનુભવે છે. દબાણના પ્રભાવ હેઠળ, કણ સંભાવના સાથે એક એકમ જમણી તરફ અને સંભાવના સાથે એક એકમ ડાબી તરફ ખસે છે. તે સ્પષ્ટ છે કે આંચકા પછી કણની સ્થિતિ (સંકલન) તેના પર આધાર રાખે છે કે તરત જ અગાઉના આંચકા પછી કણ ક્યાં હતો, અને તે અન્ય અગાઉના આંચકાના પ્રભાવ હેઠળ કેવી રીતે આગળ વધ્યો તેના પર નિર્ભર નથી.

તો રેન્ડમ વોક? સજાતીય અલગ-સમયની માર્કોવ સાંકળનું ઉદાહરણ.

સંક્રમણ સંભાવના એ શરતી સંભાવના છે કે જે રાજ્યમાંથી (જેમાં સિસ્ટમ પોતાને અમુક પરીક્ષણના પરિણામ સ્વરૂપે શોધી કાઢે છે, પછીના પરીક્ષણના પરિણામે સિસ્ટમ રાજ્યમાં જશે.

આમ, નોટેશનમાં, પ્રથમ અનુક્રમણિકા અગાઉના એકની સંખ્યા સૂચવે છે, અને બીજી? અનુગામી રાજ્ય નંબર. ઉદાહરણ તરીકે, - બીજા રાજ્યમાંથી ત્રીજામાં સંક્રમણની સંભાવના.

રાજ્યોની સંખ્યા મર્યાદિત અને સમાન હોવા દો.

સિસ્ટમનું સંક્રમણ મેટ્રિક્સ એક મેટ્રિક્સ છે જેમાં આ સિસ્ટમની તમામ સંક્રમણ સંભાવનાઓ શામેલ છે:

મેટ્રિક્સની દરેક પંક્તિમાં ઘટનાઓની સંભાવનાઓ (સમાન રાજ્યમાંથી કોઈપણ સંભવિત સ્થિતિમાં સંક્રમણ) શામેલ હોવાથી, જે રચના કરે છે સંપૂર્ણ જૂથ, તો પછી આ ઘટનાઓની સંભાવનાઓનો સરવાળો એક સમાન છે. બીજા શબ્દોમાં કહીએ તો, સંક્રમણ મેટ્રિક્સની દરેક પંક્તિની સંક્રમણ સંભાવનાઓનો સરવાળો એક સમાન છે:

ચાલો સિસ્ટમના ટ્રાન્ઝિશન મેટ્રિક્સનું ઉદાહરણ આપીએ જે ત્રણ અવસ્થામાં હોઈ શકે છે; રાજ્યથી રાજ્યમાં સંક્રમણ એક સમાન માર્કોવ સાંકળની યોજના અનુસાર થાય છે; સંક્રમણ સંભાવનાઓ મેટ્રિક્સ દ્વારા આપવામાં આવે છે:

અહીં આપણે જોઈએ છીએ કે જો સિસ્ટમ રાજ્યમાં હતી, તો એક પગલામાં રાજ્ય બદલ્યા પછી તે 0.5 ની સંભાવના સાથે તે જ સ્થિતિમાં રહેશે, 0.5 ની સંભાવના સાથે તે જ સ્થિતિમાં રહેશે, રાજ્યમાં જશે. 0.2 ની સંભાવના સાથે, પછી સંક્રમણ પછી, તેણી પોતાને રાજ્યોમાં શોધી શકે છે; તે રાજ્યમાંથી બીજી જગ્યાએ જઈ શકતું નથી. છેલ્લી લાઇનમેટ્રિક્સ આપણને બતાવે છે કે રાજ્યમાંથી 0.1 ની સમાન સંભાવના સાથે કોઈપણ સંભવિત રાજ્યમાં જવું.

સિસ્ટમના ટ્રાન્ઝિશન મેટ્રિક્સના આધારે, તમે સિસ્ટમનો કહેવાતા સ્ટેટ ગ્રાફ બનાવી શકો છો, તેને લેબલ સ્ટેટ ગ્રાફ પણ કહેવામાં આવે છે. સર્કિટની દ્રશ્ય રજૂઆત માટે આ અનુકૂળ છે. ચાલો ઉદાહરણનો ઉપયોગ કરીને ગ્રાફ બનાવવાનો ક્રમ જોઈએ.

ઉદાહરણ 2.આપેલ ટ્રાન્ઝિશન મેટ્રિક્સનો ઉપયોગ કરીને, સ્ટેટ ગ્રાફ બનાવો.

કારણ કે મેટ્રિક્સ ચોથો ક્રમ, પછી, તે મુજબ, સિસ્ટમમાં 4 સંભવિત રાજ્યો છે.

ગ્રાફ એક રાજ્યમાંથી એક જ સ્થિતિમાં સિસ્ટમના સંક્રમણની સંભાવનાઓને સૂચવતો નથી. જ્યારે વિચારણા ચોક્કસ સિસ્ટમોપહેલા રાજ્યનો ગ્રાફ બનાવવો અનુકૂળ છે, પછી એક રાજ્યમાંથી એક જ સ્થિતિમાં સિસ્ટમ સંક્રમણની સંભાવના નક્કી કરો (મેટ્રિક્સ પંક્તિઓના ઘટકોનો સરવાળો એક સમાન હોવો જરૂરી છે તેના આધારે), અને પછી સંક્રમણ બનાવો. સિસ્ટમનું મેટ્રિક્સ.

આ લેખઅમૂર્ત પ્રકૃતિનું છે, જે આપેલ છે તેના આધારે લખાયેલ છે સ્ત્રોતોનો અંત, જે સ્થળોએ ટાંકવામાં આવ્યા છે.

માર્કોવ સાંકળોના સિદ્ધાંતનો પરિચય

માર્કોવ સાંકળ એ આવો ક્રમ છે રેન્ડમ ઘટનાઓ, જેમાં દરેક ઘટનાની સંભાવના ફક્ત તે રાજ્ય પર આધારિત છે જેમાં પ્રક્રિયા ચાલી રહી છે વર્તમાન ક્ષણઅને અગાઉના રાજ્યોથી સ્વતંત્ર છે.

1. અંતિમ સ્વતંત્ર સર્કિટ આના દ્વારા નક્કી કરવામાં આવે છે:
2. રાજ્યોનો સમૂહ S = (s 1, …, s n), ઘટના એ રેન્ડમ ટ્રાયલના પરિણામે એક રાજ્યમાંથી બીજા રાજ્યમાં સંક્રમણ છે વેક્ટરપ્રારંભિક સંભાવનાઓ
3. (પ્રારંભિક વિતરણ) p (0) = ( p (0) (1),…, p (0) (n)), p (0) (i) ની સંભાવના નક્કી કરવી કે પ્રારંભિક સમયે t = 0 પ્રક્રિયા હતી રાજ્યમાં s i સંક્રમણ સંભાવનાઓનું મેટ્રિક્સ P = ( p i j), સાથે પ્રક્રિયા સંક્રમણની સંભાવનાનું લક્ષણવર્તમાન સ્થિતિ

s i આગામી રાજ્ય s j સુધી, જ્યારે એક રાજ્યમાંથી સંક્રમણોની સંભાવનાઓનો સરવાળો 1 ની બરાબર છે:

∑ j =1… n p i j = 1

S = (S 1, ..., S 5), પ્રારંભિક સંભાવનાઓનું વેક્ટર p (0) = (1, 0, 0, 0, 0) રાજ્યોના સમૂહ સાથે સંક્રમણ સંભાવનાઓના મેટ્રિક્સનું ઉદાહરણ:

પ્રારંભિક સંભાવનાઓના વેક્ટર અને ટ્રાન્ઝિશન મેટ્રિક્સનો ઉપયોગ કરીને, અમે સ્ટોકેસ્ટિક વેક્ટર p (n) ની ગણતરી કરી શકીએ છીએ - p (n) (i) સંભાવનાઓથી બનેલો વેક્ટર કે પ્રક્રિયા n સમયે i રાજ્યમાં હશે. તમે ફોર્મ્યુલાનો ઉપયોગ કરીને p(n) મેળવી શકો છો:

P(n) = p(0)×Pn
વેક્ટર્સ p(n) જેમ n વધે છે, કેટલાક કિસ્સાઓમાં, સ્થિર થાય છે - તેઓ ચોક્કસ સંભાવના વેક્ટર ρ પર એકરૂપ થાય છે, જેને સાંકળનું સ્થિર વિતરણ કહી શકાય.સ્થિરતા એ હકીકતમાં પ્રગટ થાય છે કે p (0) = ρ લેતા, આપણે કોઈપણ n માટે p (n) = ρ મેળવીએ છીએ.
સૌથી સરળ માપદંડ
, જે સ્થિર વિતરણમાં કન્વર્જન્સની બાંયધરી આપે છે, તે આના જેવો દેખાય છે: જો સંક્રમણ સંભાવનાઓના મેટ્રિક્સના તમામ ઘટકો P હકારાત્મક હોય, તો જેમ n અનંત તરફ વલણ ધરાવે છે, વેક્ટર p (n) વેક્ટર ρ તરફ વલણ ધરાવે છે, જે એકમાત્ર ઉકેલ છે ફોર્મની સિસ્ટમ માટે p × P = p. n મેટ્રિક્સ P n ના તમામ ઘટકો ધન છે, તો વેક્ટર p(n) હજુ પણ સ્થિર થશે.
આ નિવેદનોનો પુરાવો વિગતવાર આપવામાં આવ્યો છે.

માર્કોવ સાંકળને સંક્રમણ ગ્રાફ તરીકે દર્શાવવામાં આવી છે, જેના શિરોબિંદુઓ સાંકળની સ્થિતિને અનુરૂપ છે, અને ચાપ તેમની વચ્ચેના સંક્રમણોને અનુરૂપ છે. શિરોબિંદુઓ s i અને s j ને જોડતી ચાપ (i, j) નું વજન હશે સંભાવના સમાન p i (j) પ્રથમ અવસ્થામાંથી બીજામાં સંક્રમણ.

ઉપર બતાવેલ મેટ્રિક્સને અનુરૂપ આલેખ:

માર્કોવ સાંકળોના રાજ્યોનું વર્ગીકરણ માર્કોવ સાંકળોને ધ્યાનમાં લેતા, અમને ટૂંકા ગાળામાં સિસ્ટમના વર્તનમાં રસ હોઈ શકે છે. આ કિસ્સામાં, પાછલા વિભાગના સૂત્રોનો ઉપયોગ કરીને સંપૂર્ણ સંભાવનાઓની ગણતરી કરવામાં આવે છે. જો કે, સિસ્ટમના વર્તનનો અભ્યાસ કરવો વધુ મહત્વપૂર્ણ છેમોટો અંતરાલ
સમય જ્યારે સંક્રમણોની સંખ્યા અનંત તરફ વળે છે.
આગળ, માર્કોવ સાંકળોના રાજ્યોની વ્યાખ્યાઓ રજૂ કરવામાં આવી છે, જે લાંબા ગાળે સિસ્ટમના વર્તનનો અભ્યાસ કરવા માટે જરૂરી છે. માર્કોવ સાંકળો એક રાજ્યથી બીજા રાજ્યમાં સંક્રમણની શક્યતાના આધારે વર્ગીકૃત કરવામાં આવે છે.માર્કોવ સાંકળના રાજ્યોના જૂથો (સંક્રમણ ગ્રાફના શિરોબિંદુઓના ઉપસેટ), જે સંક્રમણ ગ્રાફના ઓર્ડર ડાયાગ્રામના ડેડ-એન્ડ શિરોબિંદુઓને અનુરૂપ છે, તેને સાંકળના એર્ગોડિક વર્ગો કહેવામાં આવે છે.

જો આપણે ઉપર દર્શાવેલ આલેખને ધ્યાનમાં લઈએ, તો આપણે જોઈ શકીએ છીએ કે તેમાં 1 એર્ગોડિક વર્ગ M 1 = ( S 5 ) છે, જે શિરોબિંદુઓના સબસેટને અનુરૂપ મજબૂત રીતે જોડાયેલા ઘટકમાંથી પહોંચી શકાય છે M 2 = ( S 1 , S 2 , S 3 , એસ 4). એર્ગોડિક વર્ગોમાં હોય તેવા રાજ્યોને આવશ્યક કહેવામાં આવે છે, અને બાકીનાને બિન-આવશ્યક કહેવામાં આવે છે (જોકે આવા નામો સાથે સારી રીતે બંધબેસતા નથી. સામાન્ય જ્ઞાન). શોષક અવસ્થા s i એ એર્ગોડિક વર્ગનો વિશેષ કેસ છે. પછી, એકવાર આવી સ્થિતિમાં, પ્રક્રિયા બંધ થઈ જશે. S i માટે, p ii = 1 સાચું હશે, એટલે કે. સંક્રમણ ગ્રાફમાં, તેમાંથી માત્ર એક ધાર નીકળશે - એક લૂપ., ભિન્નતા અને, જો જરૂરી હોય તો, વિતરણો. ભવિષ્યમાં આ આંકડાઓનો ઉપયોગ કરીને, તમે પ્રોગ્રામ કોડને ઑપ્ટિમાઇઝ કરી શકો છો - પ્રોગ્રામના નિર્ણાયક ભાગોને ઝડપી બનાવવા માટે નિમ્ન-સ્તરની પદ્ધતિઓનો ઉપયોગ કરો. આ પદ્ધતિને કોડ પ્રોફાઇલિંગ કહેવામાં આવે છે.

ઉદાહરણ તરીકે, ડિજક્સ્ટ્રાના અલ્ગોરિધમમાં નીચેની સર્કિટ સ્થિતિઓ હાજર છે:

• શિરોબિંદુ (v), અગ્રતા કતારમાંથી એક નવું શિરોબિંદુ દૂર કરો, ફક્ત રાજ્ય b પર જાઓ;
• શરૂઆત (b), નબળી પ્રક્રિયા માટે આઉટગોઇંગ આર્ક્સ શોધવાના ચક્રની શરૂઆત;
• વિશ્લેષણ (a), આગામી ચાપનું વિશ્લેષણ, a, d, અથવા e માં સંભવિત સંક્રમણ;
• ઘટાડો (d), ગ્રાફના કેટલાક શિરોબિંદુ માટે અંદાજ ઘટાડીને, a પર ખસેડવું;
• અંત (e), લૂપની પૂર્ણતા, આગલા શિરોબિંદુ પર જવું.

તે શિરોબિંદુઓ વચ્ચેના સંક્રમણની સંભાવનાઓને સેટ કરવાનું બાકી છે, અને તમે શિરોબિંદુઓ વચ્ચેના સંક્રમણોની અવધિ, વિવિધ રાજ્યોમાં પ્રવેશવાની સંભાવનાઓ અને પ્રક્રિયાની અન્ય સરેરાશ લાક્ષણિકતાઓનો અભ્યાસ કરી શકો છો.

એ જ રીતે, કોમ્પ્યુટેશનલ પ્રક્રિયા, જે પ્રોગ્રામ દ્વારા નિર્ધારિત ક્રમમાં સિસ્ટમ સંસાધનોને ઍક્સેસ કરવા માટે આવે છે, તેને શોષી લેતી માર્કોવ સાંકળ દ્વારા રજૂ કરી શકાય છે, જેનાં રાજ્યો સિસ્ટમ સંસાધનોના ઉપયોગને અનુરૂપ છે - પ્રોસેસર, મેમરી અને પેરિફેરલ ઉપકરણો; સંભાવનાઓ વિવિધ સંસાધનોની ઍક્સેસના ક્રમને પ્રતિબિંબિત કરે છે. આનો આભાર, કોમ્પ્યુટેશનલ પ્રક્રિયા તેની લાક્ષણિકતાઓનું વિશ્લેષણ કરવા માટે અનુકૂળ સ્વરૂપમાં રજૂ કરવામાં આવે છે.

માર્કોવ શૃંખલાને અવિભાજ્ય કહેવામાં આવે છે જો કોઈ પણ અવસ્થા S j ને અન્ય કોઈપણ રાજ્ય S i થી સંક્રમણોની મર્યાદિત સંખ્યામાં પહોંચી શકાય. આ કિસ્સામાં, સર્કિટની તમામ સ્થિતિઓ સંચાર કરી રહી હોવાનું કહેવાય છે, અને સંક્રમણ ગ્રાફ મજબૂત જોડાણનો એક ઘટક છે.
પ્રક્રિયા S j , j = 1, …, n રાજ્યોમાં હોવાની સંભાવના, પ્રક્રિયા દરેક રાજ્યોમાં વિતાવે છે તે સમયનું પ્રમાણ.

અફર સર્કિટનો ઉપયોગ સિસ્ટમની વિશ્વસનીયતાના મોડેલ તરીકે થાય છે. ખરેખર, જો કોઈ સંસાધન કે જે પ્રક્રિયા ઘણી વાર ઉપયોગ કરે છે તે નિષ્ફળ જાય, તો સમગ્ર સિસ્ટમની કાર્યક્ષમતા જોખમમાં હશે.

આ કિસ્સામાં, આવા નિર્ણાયક સંસાધનની નકલ કરવાથી નિષ્ફળતાઓ ટાળવામાં મદદ મળી શકે છે.

આ કિસ્સામાં, સિસ્ટમની સ્થિતિઓ, જે સેવાયોગ્ય અને નિષ્ફળ સાધનોની રચનામાં ભિન્ન છે, તેને સર્કિટ સ્ટેટ્સ તરીકે અર્થઘટન કરવામાં આવે છે, જે વચ્ચેના સંક્રમણો નિષ્ફળતાઓ અને ઉપકરણોની પુનઃસ્થાપના સાથે સંકળાયેલા હોય છે અને તેમની વચ્ચેના જોડાણોમાં ફેરફાર, જાળવવા માટે હાથ ધરવામાં આવે છે. સિસ્ટમની કાર્યક્ષમતા. અફર સર્કિટની લાક્ષણિકતાઓના અંદાજો સમગ્ર સિસ્ટમના વર્તનની વિશ્વસનીયતાનો ખ્યાલ આપે છે. ઉપરાંત, આવા સર્કિટ્સ પ્રોસેસિંગ માટે સબમિટ કરેલા ઉપકરણો અને કાર્યો વચ્ચેની ક્રિયાપ્રતિક્રિયાના નમૂનાઓ હોઈ શકે છે.ઉપયોગના ઉદાહરણો

2 β 1 - α - 2 β 3 β

1 - α - 3 β
4β
1 - 4 β
તે નોંધી શકાય છે કે તેની પાસે અનન્ય એર્ગોડિક વર્ગ છે, અને તેથી સંભાવના વેક્ટરના વર્ગમાં સિસ્ટમ p × P = p છે
એકમાત્ર ઉકેલ

. ચાલો આપણે સિસ્ટમના સમીકરણો લખીએ જે આપણને આ ઉકેલ શોધવા માટે પરવાનગી આપે છે:

P 0 (1 - α) + p 1 β = p 0 ,
p 0 α + p 1 (1 - α - β) + p 2 2 β = p 1,
p 1 α + p 2 (1 - α - 2 β) + p 3 3 β = p 2,
p 2 α + p 3 (1 - α - 3 β) + p 4 4 β = p 3,

p 3 α + p 4 (1 - 4 β) = p 4 .

આમાંથી આપણે મેળવીએ છીએ (γ = α / β સાથે):

હવે સંભાવનાઓનો સમૂહ π i જાણીતું છે કે સ્થિર સ્થિતિમાં સિસ્ટમમાં i બ્લોક્સ કબજે કરવામાં આવશે. પછી સમયનો અપૂર્ણાંક p 4 = C γ 4/4 સિસ્ટમમાં તમામ બ્લોક્સ કબજે કરવામાં આવે છે, સિસ્ટમ વિનંતીઓનો જવાબ આપતી નથી. પ્રાપ્ત પરિણામો કોઈપણ બ્લોકની સંખ્યાને લાગુ પડે છે. હવે તમે તેનો લાભ લઈ શકો છો: તમે વધારાના ઉપકરણોની કિંમતો અને સિસ્ટમનો સંપૂર્ણ કબજો મેળવવાના સમયમાં ઘટાડોની તુલના કરી શકો છો.
તમે આ ઉદાહરણ વિશે વધુ વાંચી શકો છો.

તબક્કાઓની મર્યાદિત અને અનંત સંખ્યા સાથે નિર્ણય લેવાની પ્રક્રિયાઓ

એવી પ્રક્રિયાને ધ્યાનમાં લો કે જેમાં સંક્રમણની સંભાવનાઓની સંખ્યાબંધ મેટ્રિસિસ છે. સમયની દરેક ક્ષણ માટે, એક અથવા બીજા મેટ્રિક્સની પસંદગી આપણે લીધેલા નિર્ણય પર આધારિત છે. ઉપરોક્તને નીચેના ઉદાહરણનો ઉપયોગ કરીને સમજી શકાય છે.જમીનના વિશ્લેષણના પરિણામે, માળી તેની સ્થિતિનું મૂલ્યાંકન ત્રણમાંથી એક નંબર સાથે કરે છે: (1) - સારી, (2) - સંતોષકારક, અથવા (3) - નબળી. તે જ સમયે, માળીએ નોંધ્યું કે વર્તમાન વર્ષમાં જમીનની ઉત્પાદકતા ફક્ત પાછલા વર્ષમાં તેની સ્થિતિ પર આધારિત છે. તેથી, વિના માટી સંક્રમણની સંભાવના

બાહ્ય પ્રભાવો

ચાલો મેટ્રિસિસ R1 અને R2 રજૂ કરીએ, જે ખાતરની કિંમત અને જમીનની ગુણવત્તાના આધારે આવકના કાર્યો નક્કી કરે છે: R1 R2 છેવટે, માળીને એ સમસ્યાનો સામનો કરવો પડે છે કે સરેરાશ અપેક્ષિત વળતરને વધારવા માટે કઈ વ્યૂહરચના પસંદ કરવી.બે પ્રકારની સમસ્યાઓ ગણી શકાય: મર્યાદિત અને અનંત સંખ્યાતબક્કાઓ

માળીને N વર્ષ પછી તેનો વ્યવસાય બંધ કરવાનો ઇરાદો દો.

અમારું કાર્ય હવે માળી માટે શ્રેષ્ઠ વર્તન વ્યૂહરચના નક્કી કરવાનું છે, એટલે કે, તે વ્યૂહરચના જે તેની આવકને મહત્તમ કરશે. અમારી સમસ્યામાં તબક્કાઓની સંખ્યાની મર્યાદિતતા એ હકીકતમાં પ્રગટ થાય છે કે માળી N + 1 વર્ષમાં તેની ખેતીની જમીનનું શું થશે તેની પરવા કરતો નથી (N સુધીના તમામ વર્ષ તેના માટે મહત્વપૂર્ણ છે). હવે આપણે જોઈ શકીએ છીએ કે આ કિસ્સામાં વ્યૂહરચના શોધ સમસ્યા ડાયનેમિક પ્રોગ્રામિંગ સમસ્યામાં ફેરવાઈ જાય છે. જો આપણે f n (i) દ્વારા સૂચિત કરીએ છીએ જે મહત્તમ સરેરાશ અપેક્ષિત આવક કે જે n થી N સુધીના તબક્કાઓ માટે પ્રાપ્ત થઈ શકે છે, રાજ્ય નંબર i થી શરૂ થાય છે, તો પછી f n (i) ને f n + સંખ્યાઓ સાથે જોડતો પુનરાવૃત્તિ સંબંધ મેળવવો સરળ છે. 1 (જ)
F n (i) = મહત્તમ k (∑ j =1 m p ij k [ r ij k + f n +1 (j)]), n = 1, 2, …, N
અહીં k વપરાયેલ વ્યૂહરચનાનો નંબર છે. આ સમીકરણ એ હકીકત પર આધારિત છે કે કુલ આવક r ij k + f n +1 (j) n સ્ટેજ n પર સ્ટેટ j થી સ્ટેજ n +1 પર p ij k સંભાવના સાથે સ્ટેટ j માં સંક્રમણના પરિણામે પ્રાપ્ત થાય છે.હવે ઉતરતી દિશામાં f n (i) ની અનુક્રમે ગણતરી કરીને શ્રેષ્ઠ ઉકેલ શોધી શકાય છે (n = N ...1).

તે જ સમયે, સમસ્યાના નિવેદનમાં પ્રારંભિક સંભાવનાઓના વેક્ટરની રજૂઆત તેના ઉકેલને જટિલ બનાવશે નહીં.

આ ઉદાહરણ માં પણ ચર્ચા કરી હતી.. પરંતુ આ રીતે ખસેડવું અશક્ય છે, કારણ કે ઉચ્ચ-ક્રમાંકિત માર્કોવ સાંકળોમાં ટેક્સ્ટના સિમેન્ટીક લોડની વૃદ્ધિ ટેક્સ્ટની વિશિષ્ટતામાં ઘટાડા કરતાં વધુ ધીમેથી થાય છે. અને માર્કોવ સાંકળો પર બાંધવામાં આવેલ લખાણ, ઉદાહરણ તરીકે, ત્રીસમા ક્રમનું, હજી પણ એટલો અર્થપૂર્ણ રહેશે નહીં કે તે મનુષ્ય માટે રસ ધરાવતો હોય, પરંતુ તે પહેલાથી જ તદ્દન સમાન છે. મૂળ લખાણ, ઉપરાંત, આવા સર્કિટમાં રાજ્યોની સંખ્યા આશ્ચર્યજનક હશે.
આ ટેક્નોલોજી હવે વેબ પેજની સામગ્રી બનાવવા માટે ઈન્ટરનેટ પર ખૂબ જ વ્યાપકપણે ઉપયોગમાં લેવાય છે (કમનસીબે). જે લોકો તેમની વેબસાઇટ પર ટ્રાફિક વધારવા અને તેની રેન્કિંગ સુધારવા માંગે છે શોધ એન્જિન, તેમના પૃષ્ઠો પર શક્ય તેટલું વધુ મૂકવાનો પ્રયત્ન કરો કીવર્ડ્સશોધવા માટે. પરંતુ શોધ એંજીન એલ્ગોરિધમનો ઉપયોગ કરે છે જે વાસ્તવિક ટેક્સ્ટને કીવર્ડના અસંગત ગૂંચવણથી અલગ કરી શકે છે. પછી, સર્ચ એન્જિનને છેતરવા માટે, તેઓ માર્કોવ સાંકળ પર આધારિત જનરેટર દ્વારા બનાવેલ ટેક્સ્ટનો ઉપયોગ કરે છે. ત્યાં છે, અલબત્ત, સકારાત્મક ઉદાહરણોલખાણ સાથે કામ કરવા માટે માર્કોવ સાંકળોનો ઉપયોગ તેઓ લેખકત્વ નક્કી કરવા અને ગ્રંથોની અધિકૃતતાનું વિશ્લેષણ કરવા માટે થાય છે.

માર્કોવ સાંકળો અને લોટરી

કેટલાક કિસ્સાઓમાં સંભવિત મોડેલવિવિધ લોટરીઓમાં સંખ્યાઓની આગાહી કરવા માટે વપરાય છે. દેખીતી રીતે, વિવિધ પરિભ્રમણના ક્રમને મોડેલ કરવા માટે માર્કોવ સાંકળોનો ઉપયોગ કરવાનો કોઈ અર્થ નથી. ડ્રોમાં બોલમાં જે બન્યું તે આગામી ડ્રોના પરિણામોને કોઈપણ રીતે અસર કરશે નહીં, કારણ કે ડ્રો પછી બોલ એકત્રિત કરવામાં આવે છે, અને પછીના ડ્રોમાં તે લોટરી ટ્રેમાં મૂકવામાં આવે છે. નિશ્ચિત ઓર્ડર. આ કિસ્સામાં, ભૂતકાળના પરિભ્રમણ સાથેનું જોડાણ ખોવાઈ ગયું છે. બીજી બાબત એ છે કે એક ડ્રોમાં બહાર પડતા બોલનો ક્રમ.સમાન અવલોકન કરેલ ઘટનાને અનુરૂપ રાજ્યો. તેથી, અમે ફક્ત રાજ્યોના આવા જૂથો વચ્ચે સંક્રમણ સંભાવનાઓનું મેટ્રિક્સ બનાવી શકીએ છીએ. આ સંભાવનાઓ વિવિધ વચ્ચેના સંક્રમણોની સંભાવનાઓની સરેરાશ છે અલગ રાજ્યો, જે અલબત્ત માર્કોવ ચેઇન મોડલને સંખ્યાત્મક લોટરીમાં લાગુ કરવાની કાર્યક્ષમતાને ઘટાડે છે.
આ કેસની જેમ, આવા મોડેલ ન્યુરલ નેટવર્કહવામાન આગાહી, ચલણ અવતરણ અને અન્ય સિસ્ટમો સાથે જોડાણમાં જ્યાં ઐતિહાસિક ડેટા ઉપલબ્ધ છે અને નવી પ્રાપ્ત માહિતીનો ભવિષ્યમાં ઉપયોગ કરી શકાય છે. સારો ઉપયોગઆ કિસ્સામાં, જ્યારે સિસ્ટમના માત્ર અભિવ્યક્તિઓ જ ઓળખાય છે, પરંતુ આંતરિક (છુપાયેલ) સ્થિતિઓ નથી, ત્યારે છુપાયેલા માર્કોવ મોડેલો લાગુ કરી શકાય છે, જેની વિકિબુક્સ (છુપાયેલા માર્કોવ મોડલ્સ) માં વિગતવાર ચર્ચા કરવામાં આવી છે.

સાહિત્ય

1. રોમનવોસ્કી I.V.
2. અલગ વિશ્લેષણ: વિદ્યાર્થીઓ માટે પાઠ્યપુસ્તક, 3જી આવૃત્તિ. - સેન્ટ પીટર્સબર્ગ: નેવસ્કી બોલી; BHV પીટર્સબર્ગ, 2003.તાહા, હમ્દી એ. ઓપરેશન્સ રિસર્ચનો પરિચય, 6ઠ્ઠી આવૃત્તિ.
3. - એમ.:
4. પબ્લિશિંગ હાઉસ

વિલિયમ્સ, 2001.

1. વર્નર એમ. કોડિંગની મૂળભૂત બાબતો. યુનિવર્સિટીઓ માટે પાઠયપુસ્તક.
2. - એમ.: ટેક્નોસ્ફિયર, 2004.

Belyaev A., Gavrilov M., Masalskikh A., Medvinsky M. Markov processes, 2004. વિઝ્યુલાઇઝર્સએલેકસીવ વી. માર્કોવ નિર્ણય લેવાની પ્રક્રિયાઓ, 2002. બેલિયાએવ એ. માર્કોવ ચેઇન્સ, 2002.પદ્ધતિઓ
ગાણિતિક વર્ણનો માર્કોવિયનરેન્ડમ પ્રક્રિયાઓ ડિસ્ક્રીટ સ્ટેટ્સ ધરાવતી સિસ્ટમમાં (DS) સમયના કયા બિંદુઓ પર (અગાઉ જાણીતી અથવા રેન્ડમ) સિસ્ટમના રાજ્યથી રાજ્યમાં સંક્રમણો થઈ શકે છે તેના પર આધાર રાખે છે.જો સિસ્ટમનું રાજ્યથી રાજ્યમાં સંક્રમણ સમયની પૂર્વનિર્ધારિત ક્ષણો પર શક્ય હોય, તો અમે તેની સાથે કામ કરી રહ્યા છીએ. સ્વતંત્ર સમય સાથે રેન્ડમ માર્કોવ પ્રક્રિયા.
જો સંક્રમણ કોઈપણ સમયે શક્ય છે રેન્ડમ ક્ષણ એસસમય, પછી અમે સાથે કામ કરી રહ્યા છીએ nસતત સમય સાથે રેન્ડમ માર્કોવ પ્રક્રિયા. એસ 1 , એસ 2 , …, ત્યાં રહેવા દોભૌતિક સિસ્ટમ t 1 , t 2 , …, , જેમાં હોઈ શકે છેરાજ્યો એસએસ એન . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે tk
, ચાલો આ ક્ષણોને સમયના પગલામાં બોલાવીએ. અમે સિસ્ટમમાં સંયુક્ત સાહસને ધ્યાનમાં લઈશું એસ 1 → એસ 2 → એસ 3 → એસ 2 .
પૂર્ણાંક દલીલ 1, 2, …, ના કાર્ય તરીકે k (, જ્યાં દલીલ એ સ્ટેપ નંબર છે.ઉદાહરણ: . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છેચાલો નિયુક્ત કરવા માટે સંમત થઈએ એસ આઇ.
k . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે) – એક ઇવેન્ટ જેમાં હકીકત એ છે કે પછી , જ્યાં દલીલ એ સ્ટેપ નંબર છે.પગલાંઓ સિસ્ટમ રાજ્યમાં છે , જ્યાં દલીલ એ સ્ટેપ નંબર છે. i કોઈપણ માટે (, જ્યાં દલીલ એ સ્ટેપ નંબર છે.ઘટનાઓ S 1 ( ), S 2 (),…, એસ n

) ફોર્મ
ઘટનાઓનું સંપૂર્ણ જૂથ એસ 1 (0) , એસઅને છે
આ ક્રમ કહેવાય છે માર્કોવ સાંકળ , જો દરેક પગલા માટે કોઈપણ રાજ્યમાંથી સંક્રમણની સંભાવના kકોઈપણ સ્થિતિમાં એસ જેસિસ્ટમ ક્યારે અને કેવી રીતે રાજ્યમાં પહોંચી તેના પર નિર્ભર નથી k.
કોઈપણ પછી કોઈપણ ક્ષણે દો . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે-મું પગલું સિસ્ટમ એસએક રાજ્યમાં હોઈ શકે છે એસ 1 , એસ 2 , …, ત્યાં રહેવા દો, એટલે કે ઘટનાઓના સંપૂર્ણ જૂથમાંથી એક ઘટના બની શકે છે: એસ 1 (, જ્યાં દલીલ એ સ્ટેપ નંબર છે.પગલાંઓ સિસ્ટમ રાજ્યમાં છે , જ્યાં દલીલ એ સ્ટેપ નંબર છે.) , …, ત્યાં રહેવા દો (, જ્યાં દલીલ એ સ્ટેપ નંબર છે.). ચાલો આ ઘટનાઓની સંભાવનાઓ દર્શાવીએ:
પી 1 (1) = પી(એસ 1 (1)); પી 2 (1) = પી(એસ 2 (1)); …; પી.એન(1) = પી(ત્યાં રહેવા દો (, જ્યાં દલીલ એ સ્ટેપ નંબર છે.));
પી 1 (2) = પી(એસ 1 (2)); પી 2 (2) = પી(S 2 (2)); ...; પી.એન(2) = પી(ત્યાં રહેવા દો (2));
પી 1 (. રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે) = પી(એસ 1 (. રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે)); પી 2 (. રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે) = પી(એસ 2 (. રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે)); …; પી.એન(. રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે) = પી(ત્યાં રહેવા દો (. રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે)).
તે જોવાનું સરળ છે કે દરેક પગલા નંબર માટે શરત સંતુષ્ટ છે
પી 1 (. રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે) + પી 2 (. રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે) +…+ પી.એન(. રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે) = 1.
ચાલો આ સંભાવનાઓને કહીએ રાજ્ય સંભાવનાઓતેથી, કાર્ય આના જેવું લાગશે: કોઈપણ માટે સિસ્ટમ સ્ટેટ્સની સંભાવનાઓ શોધો . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે.
ઉદાહરણ.એવી કોઈ સિસ્ટમ હોઈ શકે કે જે છ રાજ્યોમાંથી કોઈપણમાં હોઈ શકે. પછી તેમાં થતી પ્રક્રિયાઓને સિસ્ટમની સ્થિતિમાં ફેરફારોના ગ્રાફ તરીકે દર્શાવી શકાય છે (ફિગ. 7.9, એ), અથવા સિસ્ટમ સ્ટેટ ગ્રાફના સ્વરૂપમાં (ફિગ. 7.9, b).

એ)

ચોખા. 7.9
ઉપરાંત, સિસ્ટમમાં પ્રક્રિયાઓને રાજ્યોના ક્રમ તરીકે દર્શાવી શકાય છે: એસ 1 , એસ 3 , એસ 2 , એસ 2 , એસ 3 , એસ 5 , એસ 6 , એસ 2 .
રાજ્યની સંભાવના ( . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે+ 1)મું પગલું ફક્ત રાજ્ય પર આધાર રાખે છે k-મીટર પગલું.
કોઈપણ પગલા માટે . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છેકોઈપણ રાજ્યમાંથી અન્ય રાજ્યમાં સિસ્ટમના સંક્રમણની કેટલીક સંભાવનાઓ છે, ચાલો આ સંભાવનાઓને કહીએ માર્કોવ સાંકળની સંક્રમણ સંભાવનાઓ.
જો એક પગલામાં એક રાજ્યમાંથી બીજા રાજ્યમાં સંક્રમણ શક્ય ન હોય તો આમાંની કેટલીક સંભાવનાઓ 0 હશે.
માર્કોવ સાંકળ કહેવાય છે સજાતીય, જો સંક્રમણ અવસ્થાઓ સ્ટેપ નંબર પર આધાર રાખતી નથી, અન્યથા તેને કહેવામાં આવે છે વિજાતીય.
ત્યાં એક સજાતીય માર્કોવ સાંકળ હોઈ દો અને સિસ્ટમ દો એસધરાવે છે nસંભવિત રાજ્યો: એસ 1 , …, ત્યાં રહેવા દો. એક પગલામાં બીજા રાજ્યમાં સંક્રમણની સંભાવના દરેક રાજ્ય માટે જાણીતી થવા દો, એટલે કે. પી આઈ.જી(માંથી kવી એસ જેએક પગલામાં), પછી આપણે સંક્રમણ સંભાવનાઓને મેટ્રિક્સ તરીકે લખી શકીએ છીએ.

. (7.1)
આ મેટ્રિક્સના કર્ણની સાથે એવી સંભાવનાઓ છે કે સિસ્ટમ રાજ્યમાંથી સંક્રમણ કરે છે kસમાન રાજ્યમાં k.
અગાઉ દાખલ કરેલ ઇવેન્ટ્સનો ઉપયોગ કરીને , અમે સંક્રમણ સંભાવનાઓને શરતી સંભાવનાઓ તરીકે લખી શકીએ છીએ:
.
દેખીતી રીતે, શરતોનો સરવાળો મેટ્રિક્સની દરેક પંક્તિમાં (1) એક સમાન છે, કારણ કે ઘટનાઓ અસંગત ઘટનાઓનું સંપૂર્ણ જૂથ બનાવો.

માર્કોવ સાંકળોને ધ્યાનમાં લેતી વખતે, તેમજ માર્કોવ રેન્ડમ પ્રક્રિયાનું વિશ્લેષણ કરતી વખતે, વિવિધ રાજ્ય ગ્રાફનો ઉપયોગ કરવામાં આવે છે (ફિગ. 7.10).

ચોખા. 7.10

આ સિસ્ટમ છ રાજ્યોમાંથી કોઈપણમાં હોઈ શકે છે, જ્યારે પી આઈ.જીરાજ્યમાંથી સિસ્ટમના સંક્રમણની સંભાવના છે kએક રાજ્યમાં એસ જે. આ સિસ્ટમ માટે, અમે સમીકરણો લખીએ છીએ કે તે સમય દરમિયાન સિસ્ટમ અમુક સ્થિતિમાં હતી અને તે બહાર હતી tબહાર આવ્યું નથી:

IN સામાન્ય કેસમાર્કોવ સાંકળ અસંગત છે, એટલે કે સંભાવના પી આઈ.જીપગલું થી પગલું બદલાય છે. ધારો કે દરેક પગલા પર સંક્રમણ સંભાવનાઓનું મેટ્રિક્સ આપવામાં આવ્યું છે, તો સિસ્ટમની સંભાવના એસચાલુ . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે-મું પગલું રાજ્યમાં હશે k, સૂત્રનો ઉપયોગ કરીને શોધી શકાય છે

સંક્રમણ સંભાવનાઓના મેટ્રિક્સ અને સિસ્ટમની પ્રારંભિક સ્થિતિને જાણીને, વ્યક્તિ રાજ્યોની સંભાવનાઓ શોધી શકે છે કોઈપણ પછી . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે-મું પગલું. સમયની પ્રારંભિક ક્ષણે સિસ્ટમ રાજ્યમાં રહેવા દો એસ.એમ. પછી t = 0 માટે
.
ચાલો પ્રથમ પગલા પછી સંભાવનાઓ શોધીએ. રાજ્યમાંથી એસ.એમસિસ્ટમ રાજ્યોમાં જશે એસ 1 , એસ 2, વગેરે સંભાવનાઓ સાથે પી એમ 1 , પી એમ 2 , …, પીએમએમ, …, P mn. પછી પ્રથમ પગલા પછી સંભાવનાઓ સમાન હશે

. (7.2)
ચાલો બીજા પગલા પછી રાજ્યની સંભાવનાઓ શોધીએ: . અમે સૂત્રનો ઉપયોગ કરીને આ સંભાવનાઓની ગણતરી કરીશું સંપૂર્ણ સંભાવનાપૂર્વધારણાઓ સાથે:
.
પૂર્વધારણાઓ નીચેના નિવેદનો હશે:

• પ્રથમ પગલા પછી સિસ્ટમ S 1 -H 1 રાજ્યમાં હતી;
• બીજા પગલા પછી સિસ્ટમ S 2 -H 2 સ્થિતિમાં હતી;
• પછી nત્રીજા પગલામાં, સિસ્ટમ S n - H n સ્થિતિમાં હતી.

બીજા પગલા પછી કોઈપણ રાજ્યની સંભાવના:

(7.3)
ફોર્મ્યુલા (7.3) તમામ સંક્રમણ સંભાવનાઓનો સરવાળો કરે છે પી આઈ.જી, પરંતુ માત્ર બિન-શૂન્ય રાશિઓને ધ્યાનમાં લેવામાં આવે છે. પછી કોઈપણ સ્થિતિની સંભાવના . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છે-મું પગલું:

(7.4)
આમ, પછી રાજ્યની સંભાવના . રાજ્યથી રાજ્યમાં પરિવર્તન ફક્ત સમયની ક્ષણો પર જ શક્ય છેમી સ્ટેપ રિકરન્ટ ફોર્મ્યુલા (7.4) દ્વારા સંભાવનાઓ દ્વારા નક્કી કરવામાં આવે છે ( k - 1)મું પગલું.

કાર્ય 6.એક પગલામાં માર્કોવ સાંકળ માટે સંક્રમણ સંભાવનાઓનું મેટ્રિક્સ આપવામાં આવ્યું છે. આપેલ સર્કિટના ટ્રાન્ઝિશન મેટ્રિક્સને ત્રણ પગલામાં શોધો .
ઉકેલ.સિસ્ટમનું સંક્રમણ મેટ્રિક્સ એક મેટ્રિક્સ છે જેમાં આ સિસ્ટમની તમામ સંક્રમણ સંભાવનાઓ શામેલ છે:

મેટ્રિક્સની દરેક પંક્તિમાં ઘટનાઓની સંભાવનાઓ હોય છે (રાજ્યમાંથી સંક્રમણ iએક રાજ્યમાં j), જે એક સંપૂર્ણ જૂથ બનાવે છે, તેથી આ ઘટનાઓની સંભાવનાઓનો સરવાળો એક સમાન છે:

ચાલો p ij (n) દ્વારા સંભવિતતા દર્શાવીએ કે n પગલાં (પરીક્ષણો) ના પરિણામે સિસ્ટમ રાજ્ય i થી રાજ્ય j તરફ જશે. ઉદાહરણ તરીકે, p 25 (10) એ દસ પગલામાં બીજા રાજ્યમાંથી પાંચમા સ્થાને સંક્રમણની સંભાવના છે. નોંધ કરો કે n=1 માટે આપણે સંક્રમણની સંભાવનાઓ મેળવીએ છીએ p ij (1)=p ij.
અમને એક કાર્ય આપવામાં આવ્યું છે: સંક્રમણની સંભાવનાઓ p ij ને જાણીને, રાજ્યમાંથી સિસ્ટમ સંક્રમણની p ij (n) સંભાવનાઓ શોધો iએક રાજ્યમાં jમાટે nપગલાં આ કરવા માટે, અમે મધ્યવર્તી (વચ્ચે iઅને j) રાજ્ય આર. બીજા શબ્દોમાં કહીએ તો, અમે તેને પ્રારંભિક સ્થિતિથી ધારીશું iમાટે mપગલાંઓ સિસ્ટમ મધ્યવર્તી સ્થિતિમાં જશે આર p ij (n-m) સંભાવના સાથે, જે પછી, બાકીના માટે n-m પગલાંમધ્યવર્તી સ્થિતિ r થી તે p ij (n-m) સંભાવના સાથે અંતિમ સ્થિતિ j પર જશે. કુલ સંભાવના સૂત્રનો ઉપયોગ કરીને અમને મળે છે:
.
આ સૂત્રને માર્કોવની સમાનતા કહેવામાં આવે છે. આ સૂત્રનો ઉપયોગ કરીને, તમે બધી સંભાવનાઓ p ij (n), અને પરિણામે, મેટ્રિક્સ P n પોતે જ શોધી શકો છો. મેટ્રિક્સ કેલ્ક્યુલસ ઝડપથી ધ્યેય તરફ દોરી જાય છે, તેથી અમે પરિણામી સૂત્રના પરિણામે મેટ્રિક્સ સંબંધને સામાન્ય સ્વરૂપમાં લખીએ છીએ.
ચાલો પરિણામી સૂત્રનો ઉપયોગ કરીને માર્કોવ સાંકળના સંક્રમણ મેટ્રિક્સની ત્રણ પગલામાં ગણતરી કરીએ:

જવાબ:.

કાર્ય નંબર 1. માર્કોવ સાંકળ સંક્રમણ સંભાવના મેટ્રિક્સનું સ્વરૂપ છે:
.
t=0 સમયે રાજ્યો પરનું વિતરણ વેક્ટર દ્વારા નક્કી કરવામાં આવે છે:
π 0 =(0.5; 0.2; 0.3)
શોધો: a) ક્ષણો પર રાજ્ય દ્વારા વિતરણ t=1,2,3,4.
c) સ્થિર વિતરણ.

માર્કોવ ચેઇન એ એક અલગ-સમયની માર્કોવ પ્રક્રિયા છે જે માપી શકાય તેવી જગ્યામાં વ્યાખ્યાયિત કરવામાં આવે છે.

પરિચય

માર્કોવ રેન્ડમ પ્રક્રિયાઓનું નામ ઉત્કૃષ્ટ રશિયન ગણિતશાસ્ત્રી એ.એ. માર્કોવ (1856-1922) ના નામ પરથી રાખવામાં આવ્યું છે, જેમણે સૌ પ્રથમ રેન્ડમ ચલોના સંભવિત જોડાણનો અભ્યાસ શરૂ કર્યો અને એક સિદ્ધાંત બનાવ્યો જેને "સંભાવના ગતિશાસ્ત્ર" કહી શકાય.

IN વધુ મૂળભૂતઆ સિદ્ધાંત પ્રારંભિક આધાર હતો સામાન્ય સિદ્ધાંતરેન્ડમ પ્રક્રિયાઓ, તેમજ આવી મહત્વપૂર્ણ લાગુ વિજ્ઞાન, પ્રસરણ પ્રક્રિયાઓના સિદ્ધાંત તરીકે, વિશ્વસનીયતા સિદ્ધાંત, સિદ્ધાંત કતારવગેરે હાલમાં, માર્કોવ પ્રક્રિયાઓનો સિદ્ધાંત અને તેના કાર્યક્રમોનો વિવિધ ક્ષેત્રોમાં વ્યાપકપણે ઉપયોગ થાય છે.

ગાણિતિક ઉપકરણની તુલનાત્મક સરળતા અને સ્પષ્ટતાને લીધે, પ્રાપ્ત ઉકેલોની ઉચ્ચ વિશ્વસનીયતા અને ચોકસાઈ, ખાસ ધ્યાન માર્કોવ પ્રક્રિયાઓઓપરેશન સંશોધન અને શ્રેષ્ઠ નિર્ણય લેવાની થિયરીમાં સામેલ નિષ્ણાતો પાસેથી હસ્તગત.

સરળ ઉદાહરણ: સિક્કો ફેંકવો

વર્ણન આપતા પહેલા સામાન્ય યોજના, ચાલો તરફ વળીએ સરળ ઉદાહરણ. ચાલો માની લઈએ કે અમે વાત કરી રહ્યા છીએટોસ રમતમાં સિક્કાના ક્રમિક ઉછાળા વિશે; સમય t = 0, 1, ... ની શરતી ક્ષણો પર સિક્કો ફેંકવામાં આવે છે અને દરેક પગલા પર ખેલાડી સમાન સંભાવના 1/2 સાથે ±1 જીતી શકે છે, તેથી તે સમયે તેની કુલ જીત રેન્ડમ ચલξ(t) સાથે શક્ય મૂલ્યો j = 0, ±1, ...

જો કે ξ(t) = k, આગલા પગલા પર ગેઇન પહેલેથી જ ξ(t+1) = k ± 1 ની બરાબર હશે, લેતાં ઉલ્લેખિત મૂલ્યો j = k ± 1 સમાન સંભાવના સાથે 1/2.

પરંપરાગત રીતે, આપણે કહી શકીએ કે અહીં, અનુરૂપ સંભાવના સાથે, રાજ્ય ξ(t) = k થી રાજ્ય ξ(t+1) = k ± 1 માં સંક્રમણ થાય છે.

સૂત્રો અને વ્યાખ્યાઓ

આ ઉદાહરણને સામાન્ય બનાવતા, આપણે સંભવિત "તબક્કા" અવસ્થાઓની ગણનાપાત્ર સંખ્યા સાથેની "સિસ્ટમ" ની કલ્પના કરી શકીએ છીએ, જે અલગ સમય t = 0, 1, ... દરમિયાન અવ્યવસ્થિત રીતે રાજ્યથી બીજા રાજ્યમાં પસાર થાય છે.

રેન્ડમ સંક્રમણોની શ્રૃંખલાના પરિણામે ξ(t) ને ટી સમયે તેની સ્થિતિ રહેવા દો

ξ(0) - ξ(1) - ... - ξ(t) - ... ... (1)

ચાલો આપણે બધું ઔપચારિક રીતે સૂચવીએ શક્ય રાજ્યોપૂર્ણાંક i = 0, ±1, ... ચાલો ધારીએ કે જાણીતી સ્થિતિ ξ(t) = k માટે, આગલા પગલા પર સિસ્ટમ શરતી સંભાવના સાથે રાજ્ય ξ(t+1) = j પર જાય છે.

p kj = P(ξ(t+1) = j|ξ(t) = k) ... (2)

ભૂતકાળમાં તેની વર્તણૂકને ધ્યાનમાં લીધા વિના, વધુ સ્પષ્ટ રીતે, સંક્રમણોની સાંકળને ધ્યાનમાં લીધા વિના (1) ક્ષણ સુધી:

P(ξ(t+1) = j|ξ(0) = i, ..., ξ(t) = k) = P(ξ(t+1) = j|ξ(t) = k) બધા માટે t, k, j... (3) - માર્કોવ મિલકત.

આ સંભવિત યોજના કહેવામાં આવે છે ગણી શકાય તેવા રાજ્યો સાથે સજાતીય માર્કોવ સાંકળ- તેની એકરૂપતા એ હકીકતમાં રહેલી છે કે જેની વ્યાખ્યા (2) સંક્રમણ સંભાવનાઓ p kj, ∑ j p kj = 1, k = 0, ±1, ..., સમય પર આધાર રાખતા નથી, એટલે કે. P(ξ(t+1) = j|ξ(t) = k) = P ij - સંક્રમણ સંભાવના મેટ્રિક્સએક પગલામાં n પર આધાર રાખતો નથી.

તે સ્પષ્ટ છે કે P ij - ચોરસ મેટ્રિક્સબિન-નકારાત્મક તત્વો અને પંક્તિઓમાં એકમ સરવાળો સાથે.

આવા મેટ્રિક્સ (મર્યાદિત અથવા અનંત)ને સ્ટોકેસ્ટિક મેટ્રિક્સ કહેવામાં આવે છે. કોઈપણ સ્ટોકેસ્ટિક મેટ્રિક્સ સંક્રમણ સંભાવનાઓના મેટ્રિક્સ તરીકે સેવા આપી શકે છે.

વ્યવહારમાં: જિલ્લાઓમાં સાધનોની ડિલિવરી

ચાલો ધારીએ કે કોઈ ચોક્કસ કંપની મોસ્કોમાં સાધનો પહોંચાડે છે: ઉત્તરીય જિલ્લો(A દ્વારા સૂચિત), દક્ષિણી (B) અને મધ્ય (C). કંપની પાસે કુરિયર્સની એક ટીમ છે જે આ વિસ્તારોમાં સેવા આપે છે. તે સ્પષ્ટ છે કે આગામી ડિલિવરી કરવા માટે, કુરિયર તે વિસ્તારમાં જાય છે જે હાલમાં તેની નજીક છે. નીચેના આંકડાકીય રીતે નક્કી કરવામાં આવ્યું હતું:

1) A માં ડિલિવરી પછી, આગામી ડિલિવરી A માં 30 કેસોમાં, 30 કેસોમાં - B માં અને 40 કેસોમાં - C માં કરવામાં આવે છે;

2) B માં ડિલિવરી પછી, આગામી ડિલિવરી A માં 40 કેસોમાં, 40 કેસોમાં - B માં અને 20 કેસોમાં - C માં કરવામાં આવે છે;

3) C માં ડિલિવરી પછી, આગામી ડિલિવરી A માં 50 કેસોમાં, 30 કેસોમાં - B માં અને 20 કેસોમાં - C માં કરવામાં આવે છે.

આમ, આગલી ડિલિવરી એરિયા માત્ર અગાઉની ડિલિવરી દ્વારા જ નક્કી કરવામાં આવે છે.

સંક્રમણ સંભાવના મેટ્રિક્સ આના જેવો દેખાશે:

ઉદાહરણ તરીકે, p 12 = 0.4 એ સંભાવના છે કે વિસ્તાર B માં ડિલિવરી પછી, આગામી ડિલિવરી A વિસ્તારમાં કરવામાં આવશે.

ચાલો કહીએ કે દરેક ડિલિવરી પછી આગલા વિસ્તારમાં જવા માટે 15 મિનિટ લાગે છે. પછી, આંકડાઓ અનુસાર, 15 મિનિટ પછી 30% કુરિયર્સ A માં હશે, 30% B માં હશે અને 40% C માં હશે.

કારણ કે આગલી ક્ષણે દરેક કુરિયર ચોક્કસપણે એક જિલ્લામાં હશે, કૉલમનો સરવાળો 1 ની બરાબર છે. અને અમે સંભાવનાઓ સાથે કામ કરી રહ્યા હોવાથી, મેટ્રિક્સનું દરેક ઘટક 0 છે.<р ij <1.

સૌથી મહત્વપૂર્ણ સંજોગો જે અમને આ મોડેલને માર્કોવ સાંકળ તરીકે અર્થઘટન કરવાની મંજૂરી આપે છે તે એ છે કે t+1 સમયે કુરિયરનું સ્થાન આધાર રાખે છે. માત્રસમયે સ્થાન પરથી ટી.

હવે ચાલો એક સરળ પ્રશ્ન પૂછીએ: જો કુરિયર C થી શરૂ થાય છે, તો સંભાવના કેટલી છે કે બે ડિલિવરી કર્યા પછી, તે B માં હશે, એટલે કે. તમે 2 પગલામાં B કેવી રીતે પ્રાપ્ત કરી શકો છો? તેથી, 2 પગલાંઓમાં C થી B સુધીના ઘણા રસ્તાઓ છે:

1) પહેલા C થી C અને પછી C થી B સુધી;

2) C-->B અને B-->B;

3) C-->A અને A-->B.

ગુણાકારનો નિયમ આપેલ છે સ્વતંત્ર ઘટનાઓ, અમને લાગે છે કે ઇચ્છિત સંભાવના સમાન છે:

P = P(CA)*P(AB) + P(CB)*P(BB) + P(CC)*P(CB)

સંખ્યાત્મક મૂલ્યોની અવેજીમાં:

P = 0.5*0.3 + 0.3*0.4 + 0.2*0.3 = 0.33

પ્રાપ્ત પરિણામ સૂચવે છે કે જો કુરિયરે C થી કામ શરૂ કર્યું, તો 100 માંથી 33 કેસમાં તે બે ડિલિવરી પછી B માં હશે.

દેખીતી રીતે ગણતરીઓ સરળ છે, પરંતુ જો તમારે 5 અથવા 15 ડિલિવરી પછી સંભાવના નક્કી કરવાની જરૂર હોય, તો તેમાં ઘણો સમય લાગી શકે છે.

ચાલો આવી સંભાવનાઓની ગણતરી કરવાની એક સરળ રીત બતાવીએ. માંથી સંક્રમણ સંભાવનાઓ મેળવવા માટે વિવિધ શરતો 2 પગલામાં, અમે મેટ્રિક્સ P નો વર્ગ કરીએ છીએ:

પછી તત્વ (2, 3) એ 2 પગલાંઓમાં C થી B માં સંક્રમણની સંભાવના છે, જે ઉપર બીજી રીતે પ્રાપ્ત થઈ હતી. નોંધ કરો કે મેટ્રિક્સ P2 માંના તત્વો પણ 0 થી 1 સુધીના છે અને કૉલમનો સરવાળો 1 છે.

તે. જો તમારે 3 પગલાંઓમાં C થી B માં સંક્રમણની સંભાવનાઓ નક્કી કરવાની જરૂર હોય તો:

1 રસ્તો. p(CA)*P(AB) + p(CB)*P(BB) + p(CC)*P(CB) = 0.37*0.3 + 0.33*0.4 + 0.3*0.3 = 0.333, જ્યાં p(CA) - 2 પગલાંમાં C થી A માં સંક્રમણની સંભાવના (એટલે ​​​​કે, આ મેટ્રિક્સ P 2 નું તત્વ (1, 3) છે).

પદ્ધતિ 2.મેટ્રિક્સ P3 ની ગણતરી કરો:

7મી શક્તિમાં સંક્રમણ સંભાવનાઓનું મેટ્રિક્સ આના જેવું દેખાશે:

તે નોંધવું સરળ છે કે દરેક લીટીના ઘટકો અમુક સંખ્યાઓ તરફ વલણ ધરાવે છે. આ સૂચવે છે કે પર્યાપ્ત પછી મોટી માત્રામાંડિલિવરી, કુરિયર કયા જિલ્લામાં કામ કરવાનું શરૂ કર્યું તેનાથી કોઈ ફરક પડતો નથી. તે. સપ્તાહના અંતે અંદાજે 38.9% A માં, 33.3% B માં અને 27.8% C માં હશે.

જો સંક્રમણ સંભાવના મેટ્રિક્સના તમામ ઘટકો અંતરાલ (0, 1) સાથે સંબંધિત હોય તો આવા સંપાત થવાની ખાતરી આપવામાં આવે છે.