પહેલેથી જ નોંધ્યું છે તેમ, માહિતીના અસરકારક એન્કોડિંગ માટે સંદેશાઓની આંકડાકીય અવલંબનને ધ્યાનમાં લેવી જરૂરી છે. અમારું તાત્કાલિક ધ્યેય આશ્રિત સંદેશાઓના ક્રમની માહિતી લાક્ષણિકતાઓની ગણતરી કેવી રીતે કરવી તે શીખવાનું છે. ચાલો બે સંદેશાઓથી શરૂઆત કરીએ.

ચાલો ensembles ધ્યાનમાં લઈએ એક્સ= {x i) અને વાય={y જે) અને તેમનું કાર્ય XY={(x i,y જે), પી(x i,y જે)). કોઈપણ નિશ્ચિત માટે y જેÎ વાયબાંધી શકાય છે શરતી વિતરણસંભાવનાઓ પી(x i/y જે) સેટ પર એક્સઅને દરેક માટે x iÎ એક્સતમારી પોતાની માહિતીની ગણતરી કરો

જે કહેવાય છે શરતી પોતાની માહિતીસંદેશાઓ x iનિયત પર y જે.

અગાઉ આપણે એન્સેમ્બલની એન્ટ્રોપી તરીકે ઓળખાતા હતા એક્સસરેરાશ સંદેશ માહિતી x iÎ એક્સ. એ જ રીતે, શરતી માહિતીની સરેરાશ આઈ(x i/y જે) દ્વારા x iÎ એક્સ, અમને મૂલ્ય મળે છે

,

શરતી એન્ટ્રોપી કહેવાય છે એક્સનિયત પર y જેÎ વાય. નોંધ કરો કે માં આ વ્યાખ્યાજ્યારે અનિશ્ચિતતા છે પી(x i/y જે)=0. એ નોંધવું જોઈએ કે ફોર્મની અભિવ્યક્તિ zલોગ zખાતે શૂન્ય તરફ વલણ ધરાવે છે z® 0 અને તેના આધારે આપણે અક્ષરોને અનુરૂપ એન્ટ્રોપી શરતો ગણીએ છીએ x iસંભાવના સાથે પી(x i/y જે)=0, શૂન્યની બરાબર.

નવી રજૂ કરાયેલ એન્ટ્રોપી એચ(એક્સ/y જે) એ રેન્ડમ ચલ છે કારણ કે તે રેન્ડમ ચલ પર આધાર રાખે છે y જે. સંભવિત જોડાણોની જોડીની બિન-રેન્ડમ માહિતી મેળવવા માટે, તમામ મૂલ્યોની સરેરાશ કામગીરી કરવી જરૂરી છે. y જે.તીવ્રતા

કહેવાય છે શરતી એન્ટ્રોપીજોડાણ એક્સનિશ્ચિત જોડાણ સાથે વાય. ચાલો શરતી એન્ટ્રોપીના સંખ્યાબંધ ગુણધર્મોની નોંધ લઈએ.

2. , અને સમાનતા થાય છે જો અને માત્ર જો ensembles એક્સઅને વાયસ્વતંત્ર

5. તદુપરાંત, સમાનતા થાય છે જો અને માત્ર જો ensembles એક્સઅને વાયબધા માટે શરતી રીતે સ્વતંત્ર zО Z.

ચાલો ચર્ચા કરીએ" ભૌતિક અર્થ» શરતી એન્ટ્રોપીના ઘડવામાં આવેલા ગુણધર્મો. પ્રોપર્ટી 2 જણાવે છે કે જોડાણની શરતી એન્ટ્રોપી તેની બિનશરતી એન્ટ્રોપી કરતાં વધી જતી નથી. મિલકત 5 આ નિવેદનને મજબૂત બનાવે છે. તે આનાથી અનુસરે છે કે શરતોની વધતી સંખ્યા સાથે શરતી એન્ટ્રોપી વધતી નથી. આ બંને હકીકતો આશ્ચર્યજનક નથી તે હકીકતને પ્રતિબિંબિત કરે છે વધારાની માહિતીજોડાણ વિશે એક્સ, અન્ય જોડાણોના સંદેશામાં સમાયેલ છે, સરેરાશ,એસેમ્બલની માહિતી સામગ્રી (અનિશ્ચિતતા) ઘટાડે છે એક્સ. નોંધ " સરેરાશ"અહીં ખૂબ જ મહત્વપૂર્ણ છે, કારણ કે અસમાનતા H( એક્સ/y જે) ≤ H( એક્સ), સામાન્ય રીતે કહીએ તો, સાચું નથી.

ગુણધર્મો 1 - 5 અસમાનતા સૂચવે છે

, (11.4)

જેમાં સમાનતા ફક્ત જોડાણોની સંયુક્ત સ્વતંત્રતાના કિસ્સામાં જ શક્ય છે એક્સ 1 , …, એક્સ એન.

યાદ કરો કે એન્ટ્રોપીની ગણતરી કરવી એ સ્રોત અક્ષરોના પ્રસારણ અથવા સંગ્રહની કિંમતની ગણતરી છે. શરતી એન્ટ્રોપીના ગુણધર્મો સૂચવે છે કે જ્યારે અક્ષર પ્રસારિત થાય છે એક્સ એન+ 1 એ હકીકતનો ઉપયોગ કરવો જોઈએ કે અગાઉના અક્ષરો એક્સ 1 , …, એક્સ એનપ્રાપ્ત બાજુ પર પહેલેથી જ જાણીતા છે. આ તેના બદલે પરવાનગી આપશે એચ(એક્સ એન+1)બીટ ઓછો ખર્ચ કરો એચ(એક્સ એન +1 /એક્સ 1 ,…,એક્સ એન) બીટ. તે જ સમયે, અસમાનતા (11.4) આર્થિક કોડિંગ માટે એક અલગ અભિગમ સૂચવે છે. આ અસમાનતામાંથી તે અનુસરે છે કે એન્કોડિંગ પહેલાં અક્ષરોને બ્લોક્સમાં જોડવા જોઈએ અને આ બ્લોક્સને નવા "વિસ્તૃત" સ્ત્રોતના અક્ષરો તરીકે ગણવા જોઈએ. પત્રોના સ્વતંત્ર કોડિંગ કરતાં ખર્ચ ઓછો હશે. બેમાંથી કયો અભિગમ વધુ અસરકારક છે?

નીચે અમે વધુ સચોટ આપીશું માત્રાત્મક લાક્ષણિકતાઓઆ બે અભિગમો, પરંતુ તે પહેલાં આપણે સંભાવના સિદ્ધાંતમાંથી કેટલીક વ્યાખ્યાઓ યાદ કરવાની જરૂર છે.

વધુ પ્રસ્તુતિ માટે અમને સંભાવના સિદ્ધાંતમાંથી કેટલીક જાણીતી માહિતીની જરૂર પડશે.

1) અવ્યવસ્થિત ઘટનાઓના જોડાણ માટે સંભાવનાઓના ગુણધર્મો એઅને IN:

P(A,B)=P(A)*P(B/A); -> P(B/A)=P(A,B)/P(B);

P(A,B)=P(B)*P(B/A); -> P(A/B)=P(A,B)/P(A);

P(A/B)=P(A)*P(B/A)/P(B);

P(B/A)=P(B)*P(A/B)/P(A); એઅને INજો

સ્વતંત્ર છે, તો પછી

P(A/B)=P(A); P(B/A)=P(B):

P(A,B)=P(A)*P(B);

ફરી એકવાર, અલગ સંદેશાના સ્ત્રોત માટે શેનોન એન્ટ્રોપીની વ્યાખ્યા:

તેના ગુણધર્મો: ;

H > 0એનm;

ax = લોગ એન સ્વતંત્ર સ્ત્રોતો સાથે;

H(A,B)=H(A)+H(B)

શરતી એન્ટ્રોપી જો સિસ્ટમ તત્વોની સ્થિતિઓ એકબીજા પર નિર્ભર ન હોય અથવા જો એક સિસ્ટમની સ્થિતિ બીજી સિસ્ટમની સ્થિતિ પર નિર્ભર ન હોય, તો અનિશ્ચિતતા કે સિસ્ટમના કેટલાક તત્વ (અથવા કેટલીક સિસ્ટમ) એકમાં હશે. સંભવિત સ્થિતિઓ સિસ્ટમના વ્યક્તિગત ઘટકોની સંભવિત લાક્ષણિકતાઓ દ્વારા સંપૂર્ણપણે નક્કી કરવામાં આવશે. આ કિસ્સામાંચોક્કસ રકમ

સિસ્ટમ તત્વની સ્થિતિ દીઠ માહિતી અથવા પ્રતિ સંદેશ પ્રતીકને સરેરાશ એન્ટ્રોપી કહેવામાં આવે છે, અને તેની ગણતરી કરતી વખતે, અભિવ્યક્તિનો ઉપયોગ થાય છે સંદેશ પ્રતીક દીઠ માહિતીની સરેરાશ રકમની ગણતરી કરતી વખતે, પરસ્પર નિર્ભરતાને ધ્યાનમાં લેવામાં આવે છે.

અન્યની તુલનામાં કેટલીક ઘટનાઓની ઘટનાની શરતી સંભાવનાઓ અને પરિણામી એન્ટ્રોપીને શરતી એન્ટ્રોપી કહેવામાં આવે છે ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 1 , b 2 - ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 2 a ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 1 વગેરે આ કિસ્સામાં, દખલ સાથે ચેનલ માટે, ટ્રાન્સમિશન વિકૃત થાય છે, અને જ્યારે પ્રતીક પ્રાપ્ત થાય છે b 1 . તે સારી રીતે હોઈ શકે છે કે પાત્રો પ્રસારિત થયા હતા b 2 , b 3 વગેરે

વિકૃતિઓ શરતી ચેનલ સંભાવનાઓના મેટ્રિક્સ દ્વારા વર્ણવવામાં આવે છે પી(એ/ બી)={ પી(b i / ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ i }.

ચાલો અવાજ સાથે સંદેશાવ્યવહાર ચેનલ પર સંકેતો પ્રસારિત કરવાની પ્રક્રિયાને ધ્યાનમાં લઈએ અને શરતી એન્ટ્રોપીની ગણતરી કરવાની પદ્ધતિને સમજવા માટે તેનો ઉપયોગ કરીએ.

જો સંદેશ સ્ત્રોત અક્ષરો ઉત્પન્ન કરે છે

b l , એ 2 , ..., એ i ..., એ n

તે મુજબ સંભાવનાઓ સાથે

p(a 1 ), p (a 2 ) ... ..., p (a i ), ..., p (a n ),

અને ટ્રાન્સમિશન ચેનલના આઉટપુટ પર આપણે પ્રતીકો પ્રાપ્ત કરીએ છીએ

ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 1 ,બી 2 , ..., બી i ..., બી n

તે મુજબ સંભાવનાઓ સાથે

p(ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 1 ), પી (ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 2 ), ..., પી (બી i , ..., પી (ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ n ),

પછી શરતી એન્ટ્રોપીનો ખ્યાલ H (B/b i ) મોકલીને અનિશ્ચિતતા વ્યક્ત કરે છે b i , અમે મેળવીશું ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ i., ખ્યાલ એચ(A/b i ) અનિશ્ચિતતા જે પ્રાપ્ત કર્યા પછી રહે છે ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ i બરાબર શું મોકલવામાં આવ્યું હતું b i. આ ઉપરની આકૃતિમાં ગ્રાફિકલી રીતે દર્શાવવામાં આવ્યું છે. જો સંદેશાવ્યવહાર ચેનલમાં દખલગીરી હોય, તો પછી કોઈપણ સંકેતો સંભવિતતાના વિવિધ ડિગ્રી સાથે પ્રાપ્ત થઈ શકે છે. ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ j અને, તેનાથી વિપરીત, પ્રાપ્ત સિગ્નલ ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ jકોઈપણ સિગ્નલ મોકલવાના પરિણામે દેખાઈ શકે છે b i . જો સંચાર ચેનલમાં કોઈ દખલ નથી, તો મોકલેલ પ્રતીક હંમેશા છે એ 1 સ્વીકૃત પાત્ર સાથે મેળ ખાય છે ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 1 , એ 2 -બી 2 , ..., એ n -બી n .

આ કિસ્સામાં, સંદેશ સ્ત્રોત H(A) ની એન્ટ્રોપી સંદેશ પ્રાપ્તકર્તા H(B) ની એન્ટ્રોપી જેટલી છે.. જો સંચાર ચેનલમાં દખલગીરી હોય, તો તે પ્રસારિત માહિતીના ભાગને નષ્ટ અથવા વિકૃત કરે છે.

માહિતીના નુકસાનનું સંપૂર્ણ વર્ણન ખાનગી અને સામાન્ય શરતી એન્ટ્રોપી દ્વારા કરવામાં આવે છે. ચેનલ મેટ્રિસિસનો ઉપયોગ કરીને આંશિક અને સામાન્ય શરતી એન્ટ્રોપીની ગણતરી કરવી અનુકૂળ છે. "ચેનલ મેટ્રિક્સ" શબ્દનો અર્થ છે: એક મેટ્રિક્સ જે આંકડાકીય રીતે વર્ણવે છે આ ચેનલજોડાણ, સંક્ષિપ્તતા માટે વપરાય છે. જો સંદેશાવ્યવહાર ચેનલનું વર્ણન સંદેશ સ્ત્રોતની બાજુથી કરવામાં આવે છે (એટલે ​​​​કે મોકલેલ સિગ્નલ જાણીતું છે), તો સંભાવના કે જ્યારે સિગ્નલ પ્રસારિત થાય છે b i દખલ સાથે સંચાર ચેનલ દ્વારા અમને સિગ્નલ પ્રાપ્ત થશે ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ j શરતી સંભાવના તરીકે સૂચિત p(b j /AI).અને ચેનલ મેટ્રિક્સ ફોર્મ ધરાવે છે

સંભાવનાઓ કે જે વિકર્ણ (બોલ્ડમાં) સાથે સ્થિત છે તે યોગ્ય સ્વાગતની સંભાવનાઓ નક્કી કરે છે, બાકીની - ખોટી. ચેનલ મેટ્રિક્સના સ્તંભોને ભરતા અંકોના મૂલ્યો સામાન્ય રીતે મુખ્ય કર્ણથી અંતર સાથે ઘટે છે, અને દખલગીરીની સંપૂર્ણ ગેરહાજરીમાં, મુખ્ય કર્ણ પર સ્થિત અંકો સિવાયના તમામ શૂન્ય સમાન હોય છે.

પ્રતીક પસાર b iઆપેલ સંચાર ચેનલમાં સંદેશ સ્ત્રોતની બાજુથી ફોર્મની શરતી સંભાવનાઓના વિતરણ દ્વારા વર્ણવવામાં આવે છે p(b j /a i ), સંભાવનાઓનો સરવાળો હંમેશા એક સમાન હોવો જોઈએ. ઉદાહરણ તરીકે, સિગ્નલ માટે એ 1

સિગ્નલ શેર દીઠ માહિતીની ખોટ a iઆંશિક શરતી એન્ટ્રોપીનો ઉપયોગ કરીને વર્ણવેલ છે. ઉદાહરણ તરીકે, સિગ્નલ માટે a 1

સરવાળો અનુસાર હાથ ધરવામાં આવે છે જે,કારણ કે i-મું રાજ્ય (માં આ કિસ્સામાંપ્રથમ) સ્થિર રહે છે.

ટ્રાન્સમિશન નુકશાન બધા સંકેતોઆપેલ કોમ્યુનિકેશન ચેનલ પર સામાન્ય શરતી એન્ટ્રોપીનો ઉપયોગ કરીને વર્ણવવામાં આવે છે. તેની ગણતરી કરવા માટે, તમારે તમામ આંશિક શરતી એન્ટ્રોપીઓનો સરવાળો કરવો જોઈએ, એટલે કે, ઉપર એક ડબલ સમેશન કરવું iઅને દ્વારા j.

સંદેશ સ્ત્રોત પ્રતીકોની ઘટનાની અસમાન સંભાવનાના કિસ્સામાં, દરેક પ્રતીકના દેખાવની સંભાવના તેના દ્વારા અનુરૂપ આંશિક શરતી એન્ટ્રોપીનો ગુણાકાર કરીને ધ્યાનમાં લેવી જોઈએ. આ કિસ્સામાં, કુલ શરતી એન્ટ્રોપી

જો આપણે બહારથી પરિસ્થિતિ તપાસીએ સંદેશ પ્રાપ્તકર્તા(એટલે ​​કે જ્યારે પ્રાપ્ત સિગ્નલ જાણીતું છે), પછી પ્રતીકની રસીદ સાથે ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ jએવું માનવામાં આવે છે કે પ્રતીકોમાંથી એક મોકલવામાં આવ્યો હતો b 1 , b 2 , …, b i ,…, b એન. આ કિસ્સામાં, ચેનલ મેટ્રિક્સનું ફોર્મ છે:

આ કિસ્સામાં, શરતી સંભાવનાઓનો સરવાળો પંક્તિઓમાં નહીં, પરંતુ ચેનલ મેટ્રિક્સના કૉલમમાં એક સમાન હોવો જોઈએ.

આંશિક શરતી એન્ટ્રોપી

અને કુલ શરતી એન્ટ્રોપી

સિસ્ટમની કુલ શરતી એન્ટ્રોપી B સિસ્ટમ A ને સંબંધિત સંદેશ સ્ત્રોતના કોઈપણ પ્રતીકમાં સમાવિષ્ટ માહિતીના જથ્થાને દર્શાવે છે જેના દ્વારા આપણે અભ્યાસ હેઠળની સિસ્ટમના તત્વોની સ્થિતિનું પ્રતિનિધિત્વ કરીએ છીએ.

સામાન્ય શરતી એન્ટ્રોપી તમામ પ્રતીકોની સરેરાશથી નક્કી કરવામાં આવે છે, એટલે કે, તમામ રાજ્યો પર એ iતેમાંના દરેકની ઘટનાની સંભાવનાને ધ્યાનમાં લેતા. તે સ્રોત પ્રતીકોના દેખાવની સંભાવનાના ઉત્પાદનોના સરવાળો અને સંબોધિતને પ્રતીકો પ્રાપ્ત કર્યા પછી રહેતી અનિશ્ચિતતાની સમાન છે:

જો સંચાર ચેનલમાં કોઈ દખલ ન હોય, તો મુખ્ય કર્ણ પર સ્થિત સિવાયના ચેનલ મેટ્રિક્સના તમામ ઘટકો શૂન્ય સમાન છે. આ સૂચવે છે કે સિગ્નલ ટ્રાન્સમિટ કરતી વખતે એ 1 અમે ચોક્કસપણે મેળવીશું ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 1 ટ્રાન્સમિશન પર એ 2 - ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 2 , ..., એ એન - ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ એન. સાચો સિગ્નલ મળવાની સંભાવના બની જશે બિનશરતી, અને શરતી એન્ટ્રોપી શૂન્ય હશે.

શરતી એન્ટ્રોપી તેના મહત્તમ સુધી પહોંચે છે જ્યારે, જ્યારે પ્રતીક પ્રસારિત થાય છે એ iકદાચ સાથે સમાન સંભાવનાકોઈપણ પ્રાપ્ત સંકેતો ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 1 , ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ 2 , ..., ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ એન .

શરતી એન્ટ્રોપી

એન્ટ્રોપી (માહિતીલક્ષી)- માહિતીની અરાજકતાનું માપ, પ્રાથમિક મૂળાક્ષરના કોઈપણ પ્રતીકના દેખાવની અનિશ્ચિતતા. માહિતીની ખોટની ગેરહાજરીમાં, તે પ્રસારિત સંદેશના પ્રતીક દીઠ માહિતીના જથ્થાના આંકડાકીય રીતે સમાન છે.

ઉદાહરણ તરીકે, અક્ષરોના ક્રમમાં જે રશિયનમાં વાક્ય બનાવે છે, વિવિધ અક્ષરોવિવિધ આવર્તન સાથે દેખાય છે, તેથી ઘટનાની અનિશ્ચિતતા કેટલાક અક્ષરો માટે અન્ય કરતા ઓછી હોય છે. જો આપણે ધ્યાનમાં લઈએ કે અક્ષરોના કેટલાક સંયોજનો (આ કિસ્સામાં આપણે એન્ટ્રોપી વિશે વાત કરીએ છીએ n-મો ક્રમ, જુઓ) ખૂબ જ દુર્લભ છે, પછી અનિશ્ચિતતા વધુ ઓછી થાય છે.

માહિતી એન્ટ્રોપીની વિભાવનાને સમજાવવા માટે, તમે થર્મોડાયનેમિક એન્ટ્રોપીના ક્ષેત્રના ઉદાહરણનો પણ આશરો લઈ શકો છો, જેને મેક્સવેલનો રાક્ષસ કહેવાય છે. માહિતી અને એન્ટ્રોપીની વિભાવનાઓ એકબીજા સાથે ઊંડા જોડાણ ધરાવે છે, પરંતુ આ હોવા છતાં, સિદ્ધાંતોનો વિકાસ આંકડાકીય મિકેનિક્સઅને માહિતી સિદ્ધાંતને એકબીજા સાથે સુસંગત બનાવવામાં ઘણા વર્ષો લાગ્યા.

ઔપચારિક વ્યાખ્યાઓ

માહિતી એન્ટ્રોપીસ્વતંત્ર રેન્ડમ ઘટનાઓ માટે xસાથે n શક્ય શરતો(1 થી n) ની ગણતરી સૂત્રનો ઉપયોગ કરીને કરવામાં આવે છે:

આ જથ્થાને પણ કહેવામાં આવે છે સરેરાશ સંદેશ એન્ટ્રોપી. જથ્થો કહેવાય છે ખાનગી એન્ટ્રોપી, માત્ર લાક્ષણિકતા i-ઇ રાજ્ય.

આમ, ઘટનાની એન્ટ્રોપી xસાથે સરવાળો છે વિરોધી ચિહ્નબધા કામો સંબંધિત ફ્રીક્વન્સીઝઘટનાની ઘટના i, તેમના પોતાના દ્વિસંગી લઘુગણક દ્વારા ગુણાકાર (આધાર 2 ફક્ત બાઈનરી સ્વરૂપમાં પ્રસ્તુત માહિતી સાથે કામ કરવાની સુવિધા માટે પસંદ કરવામાં આવ્યો હતો). સ્વતંત્ર રેન્ડમ ઘટનાઓ માટેની આ વ્યાખ્યાને સંભાવના વિતરણ કાર્ય સુધી વિસ્તૃત કરી શકાય છે.

સામાન્ય રીતે ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ-એરી એન્ટ્રોપી(જ્યાં ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએબરાબર 2, 3, ...) મૂળ મૂળાક્ષરો સાથે સ્ત્રોત અને સ્વતંત્ર વિતરણસંભાવનાઓ જ્યાં પી iસંભાવના છે b i (પી i = પી(b i) ) સૂત્ર દ્વારા નક્કી કરવામાં આવે છે:

શેનોન એન્ટ્રોપીની વ્યાખ્યા થર્મોડાયનેમિક એન્ટ્રોપીની વિભાવના સાથે સંબંધિત છે. બોલ્ટ્ઝમેન અને ગિબ્સે કર્યું મહાન કામદ્વારા આંકડાકીય થર્મોડાયનેમિક્સ, જેણે માં "એન્ટ્રોપી" શબ્દ અપનાવવામાં ફાળો આપ્યો માહિતી સિદ્ધાંત. થર્મોડાયનેમિક અને માહિતી એન્ટ્રોપી વચ્ચે જોડાણ છે. ઉદાહરણ તરીકે, મેક્સવેલનો રાક્ષસ પણ વિરોધાભાસી છે થર્મોડાયનેમિક એન્ટ્રોપીમાહિતી, અને કોઈપણ માત્રામાં માહિતી મેળવવી એ ખોવાયેલી એન્ટ્રોપી સમાન છે.

વૈકલ્પિક વ્યાખ્યા

એન્ટ્રોપી ફંક્શનને વ્યાખ્યાયિત કરવાની બીજી રીત છે એચતેનો પુરાવો છે એચજો અને માત્ર જો એચશરતો સંતોષે છે:

ગુણધર્મો

એ યાદ રાખવું અગત્યનું છે કે એન્ટ્રોપી એ સંદર્ભમાં વ્યાખ્યાયિત થયેલ જથ્થો છે સંભવિત મોડેલડેટા સ્ત્રોત માટે. ઉદાહરણ તરીકે, સિક્કો ફેંકવામાં એન્ટ્રોપી − 2(0.5log 2 0.5) = 1 બીટ પ્રતિ ટૉસ હોય છે (ધારો કે તે સ્વતંત્ર છે). એક સ્ત્રોત કે જે ફક્ત "A" અક્ષરો ધરાવતી સ્ટ્રિંગ જનરેટ કરે છે તેમાં શૂન્ય એન્ટ્રોપી છે: . તેથી, ઉદાહરણ તરીકે, તે એન્ટ્રોપીને પ્રાયોગિક રીતે સ્થાપિત કરી શકાય છે અંગ્રેજી લખાણઅક્ષર દીઠ 1.5 બિટ્સ બરાબર છે, જે અલબત્ત અલગ-અલગ ગ્રંથો માટે બદલાશે. ડેટા સ્ત્રોતની એન્ટ્રોપીની ડિગ્રીનો અર્થ છે શ્રેષ્ઠ એન્કોડિંગ સાથે માહિતીની ખોટ વિના તેને એન્ક્રિપ્ટ કરવા માટે જરૂરી ડેટા ઘટક દીઠ બિટ્સની સરેરાશ સંખ્યા.

1. કેટલાક ડેટા બિટ્સ માહિતી વહન કરી શકતા નથી. દા.ત.
2. એન્ટ્રોપીની માત્રા હંમેશા બિટ્સની પૂર્ણાંક સંખ્યા તરીકે દર્શાવવામાં આવતી નથી.

ગાણિતિક ગુણધર્મો

કાર્યક્ષમતા

વ્યવહારમાં મૂળ મૂળાક્ષરોનો સામનો કરવો પડ્યો છે સંભાવના વિતરણ, જે શ્રેષ્ઠથી દૂર છે. જો મૂળ મૂળાક્ષરો હોય nઅક્ષરો, પછી તેની તુલના "ઓપ્ટિમાઇઝ મૂળાક્ષરો" સાથે કરી શકાય છે જેની સંભાવના વિતરણ સમાન છે. મૂળ અને ઑપ્ટિમાઇઝ મૂળાક્ષરોનો એન્ટ્રોપી રેશિયો એ મૂળ મૂળાક્ષરોની કાર્યક્ષમતા છે, જેને ટકાવારી તરીકે દર્શાવી શકાય છે.

તે આનાથી અનુસરે છે કે મૂળ મૂળાક્ષરોની અસરકારકતા સાથે nપ્રતીકોને તેના સમાન તરીકે વ્યાખ્યાયિત કરી શકાય છે n-એરી એન્ટ્રોપી.

એન્ટ્રોપી મહત્તમ શક્ય લોસલેસ (અથવા લગભગ લોસલેસ) કમ્પ્રેશનને મર્યાદિત કરે છે જે સૈદ્ધાંતિક રીતે લાક્ષણિક સમૂહ અથવા વ્યવહારમાં, હફમેન કોડિંગ, લેમ્પેલ-ઝિવ-વેલ્ચ કોડિંગ અથવા અંકગણિત કોડિંગનો ઉપયોગ કરીને અનુભવી શકાય છે.

ભિન્નતા અને સામાન્યીકરણ

શરતી એન્ટ્રોપી

જો મૂળાક્ષરોના અક્ષરોનો ક્રમ સ્વતંત્ર નથી (ઉદાહરણ તરીકે, માં ફ્રેન્ચઅક્ષર "q" લગભગ હંમેશા "u" દ્વારા અનુસરવામાં આવે છે, અને શબ્દ "અદ્યતન" માં સોવિયત અખબારોસામાન્ય રીતે શબ્દ "ઉત્પાદન" અથવા "શ્રમ" દ્વારા અનુસરવામાં આવે છે, આવા પ્રતીકોના ક્રમ (અને તેથી એન્ટ્રોપી) દ્વારા વહન કરવામાં આવતી માહિતીનો જથ્થો દેખીતી રીતે ઓછો છે. આવા તથ્યોને ધ્યાનમાં લેવા માટે, શરતી એન્ટ્રોપીનો ઉપયોગ કરવામાં આવે છે.

ફર્સ્ટ-ઓર્ડર કન્ડીશનલ એન્ટ્રોપી (પ્રથમ-ક્રમ માર્કોવ મોડલની જેમ) એ મૂળાક્ષરો માટેની એન્ટ્રોપી છે જ્યાં એક પછી બીજા અક્ષરની સંભાવનાઓ જાણીતી છે (એટલે ​​​​કે, બે-અક્ષરોના સંયોજનોની સંભાવનાઓ):

જ્યાં iપૂર્વવર્તી પાત્ર પર આધારિત રાજ્ય છે, અને પી i (j) - આ સંભાવના છે j, જો કે iઅગાઉનું પાત્ર હતું.

તેથી, "" અક્ષર વિના રશિયન ભાષા માટે.

ઘોંઘાટીયા ચેનલમાં ડેટા ટ્રાન્સમિશન દરમિયાન માહિતીની ખોટ આંશિક અને સામાન્ય શરતી એન્ટ્રોપીઝ દ્વારા સંપૂર્ણપણે વર્ણવવામાં આવે છે. આ હેતુ માટે, કહેવાતા ચેનલ મેટ્રિસિસ. તેથી, સ્ત્રોતના ભાગ પરના નુકસાનનું વર્ણન કરવા માટે (એટલે ​​​​કે, મોકલેલ સંકેત જાણીતો છે), રીસીવર દ્વારા પ્રતીક પ્રાપ્ત કરવાની શરતી સંભાવના ગણવામાં આવે છે. ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ jજો કે પાત્ર મોકલવામાં આવ્યું હતું b i. આ કિસ્સામાં, ચેનલ મેટ્રિક્સનું નીચેનું સ્વરૂપ છે:

દેખીતી રીતે, કર્ણ સાથે સ્થિત સંભાવનાઓ યોગ્ય સ્વાગતની સંભાવનાનું વર્ણન કરે છે, અને કૉલમના તમામ ઘટકોનો સરવાળો પ્રાપ્તકર્તાની બાજુ પર દેખાતા અનુરૂપ પ્રતીકની સંભાવના આપશે - પી(ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ j) . પ્રસારિત સિગ્નલ દીઠ નુકસાન b i, આંશિક શરતી એન્ટ્રોપી દ્વારા વર્ણવવામાં આવે છે:

તમામ સિગ્નલોના ટ્રાન્સમિશન નુકસાનની ગણતરી કરવા માટે, સામાન્ય શરતી એન્ટ્રોપીનો ઉપયોગ થાય છે:

તેનો અર્થ સ્ત્રોત બાજુ પર એન્ટ્રોપી છે; રીસીવર બાજુ પરની એન્ટ્રોપી સમાન રીતે ગણવામાં આવે છે: દરેક જગ્યાએ તે સૂચવવામાં આવે છે (લાઇનના ઘટકોનો સારાંશ દ્વારા તમે મેળવી શકો છો પી(b i) , અને વિકર્ણ તત્વોનો અર્થ એ સંભાવના છે કે જે ચોક્કસ પાત્ર પ્રાપ્ત થયું હતું તે મોકલવામાં આવ્યું હતું, એટલે કે, સાચા ટ્રાન્સમિશનની સંભાવના).

મ્યુચ્યુઅલ એન્ટ્રોપી

મ્યુચ્યુઅલ એન્ટ્રોપી, અથવા યુનિયન એન્ટ્રોપી, ઇન્ટરકનેક્ટેડ સિસ્ટમ્સની એન્ટ્રોપીની ગણતરી કરવા માટે બનાવાયેલ છે (આંકડાકીય રીતે આશ્રિત સંદેશાઓની સંયુક્ત ઘટનાની એન્ટ્રોપી) અને તે સૂચવવામાં આવે છે એચ(એબી), ક્યાં એ, હંમેશની જેમ, ટ્રાન્સમીટરની લાક્ષણિકતા, અને બી- રીસીવર.

પ્રસારિત અને પ્રાપ્ત સંકેતો વચ્ચેનો સંબંધ સંભાવનાઓ દ્વારા વર્ણવવામાં આવે છે સંયુક્ત ઘટનાઓ પી(b i ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ j) , અને માટે સંપૂર્ણ વર્ણનચેનલ લાક્ષણિકતાઓ, માત્ર એક મેટ્રિક્સ જરૂરી છે:

વધુ માટે સામાન્ય કેસ, જ્યારે તે કોઈ ચેનલ નથી જેનું વર્ણન કરવામાં આવી રહ્યું છે, પરંતુ ફક્ત ક્રિયાપ્રતિક્રિયા કરતી સિસ્ટમો છે, ત્યારે મેટ્રિક્સ ચોરસ હોવું જરૂરી નથી. દેખીતી રીતે, સંખ્યા સાથે કૉલમના તમામ ઘટકોનો સરવાળો jઆપશે પી(ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ j) , રેખા નંબરનો સરવાળો iછે પી(b i) , અને તમામ મેટ્રિક્સ તત્વોનો સરવાળો 1 ની બરાબર છે. સંયુક્ત સંભાવના પી(b i ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ j) ઘટનાઓ b iઅને ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ jમૂળ અને શરતી સંભાવનાના ઉત્પાદન તરીકે ગણવામાં આવે છે,

બેયસના સૂત્રનો ઉપયોગ કરીને શરતી સંભાવનાઓ ઉત્પન્ન થાય છે. આમ, સ્ત્રોત અને રીસીવરની એન્ટ્રોપીઝની ગણતરી કરવા માટેનો તમામ ડેટા છે:

મ્યુચ્યુઅલ એન્ટ્રોપીની ગણતરી મેટ્રિક્સની તમામ સંભાવનાઓને પંક્તિઓ (અથવા કૉલમ્સ) પર અનુક્રમે સરવાળો કરીને, તેમના લઘુગણક દ્વારા ગુણાકાર કરીને કરવામાં આવે છે:

માપનનું એકમ બીટ/બે પ્રતીકો છે, આ હકીકત દ્વારા સમજાવવામાં આવે છે કે મ્યુચ્યુઅલ એન્ટ્રોપી પ્રતીકોની જોડી દીઠ અનિશ્ચિતતાનું વર્ણન કરે છે - મોકલેલ અને પ્રાપ્ત. સરળ પરિવર્તન દ્વારા પણ આપણે મેળવીએ છીએ

મ્યુચ્યુઅલ એન્ટ્રોપી મિલકત ધરાવે છે માહિતીની સંપૂર્ણતા- તેમાંથી તમે વિચારણા હેઠળની તમામ માત્રા મેળવી શકો છો.

રેન્ડમ ચલની એન્ટ્રોપી અને માહિતીના જથ્થાની ગણતરી કરવા માટે શેનોનના સૂત્ર (3.3)ને ધ્યાનમાં લેતા, અમે ધારીએ છીએ કે રેન્ડમ ચલ (X) વિશેની માહિતી સીધી નિરીક્ષક પાસે આવે છે. જો કે, એક નિયમ તરીકે, અમને રુચિ ધરાવતા રેન્ડમ ચલ (X) વિશે નહીં, પરંતુ અન્ય કોઈ (Y) વિશેની માહિતી પ્રાપ્ત થાય છે, જે સ્ટોકેસ્ટિક રીતે X સાથે સંબંધિત છે. રેન્ડમ ચલોનું આવું જોડાણ કાર્યાત્મક જોડાણથી અલગ પડે છે, જેમાં એક મૂલ્યનું દરેક મૂલ્ય બીજા મૂલ્યના એક, સારી રીતે વ્યાખ્યાયિત મૂલ્યને અનુરૂપ હોય છે. બે રેન્ડમ વેરિયેબલ્સ X અને Y વચ્ચેના સ્ટોકેસ્ટિક (સંભવિત) જોડાણનો અર્થ એ છે કે તેમાંના એકમાં ફેરફાર બીજાના મૂલ્યને અસર કરે છે, પરંતુ એવી રીતે કે X નું મૂલ્ય જાણીને તે મૂલ્યને ચોક્કસ રીતે દર્શાવવું અશક્ય છે કે જે મૂલ્ય Y લેશે. તમે ફક્ત Y મૂલ્યમાં ફેરફારનું વલણ સૂચવી શકો છો.

ચાલો બી - રેન્ડમ ઘટના; p(B) - તેની ઘટનાની સંભાવના; ચાલો X દ્વારા રેન્ડમ વેરીએબલ દર્શાવીએ જે N લે છે વિવિધ અર્થો(x 1 , x 2 , … x N ), અને A k દ્વારા ઘટના કે રેન્ડમ ચલ X એ x k મૂલ્ય લેશે:

A k = ( X = x k ), k = 1,2, …N ;

અમે ઘટના A k ની સંભાવના p(A k) દ્વારા દર્શાવીએ છીએ. કેટલીક ઘટનાઓ બનવાની સંભાવના અન્ય કોઈ ઘટના બને છે કે નહીં તેના આધારે બદલાઈ શકે છે. ઘટના A k ની સંભાવના p B (A k), ઘટના B આવી છે તેવી ધારણા હેઠળ ગણવામાં આવે છે, તેને ઘટના A k ની શરતી સંભાવના કહેવામાં આવે છે, આ કિસ્સામાં:

ઘટનાઓ A k અને B ને સ્વતંત્ર કહેવામાં આવે છે જો ઘટના A k ની સંભાવના ઘટના B બની છે કે નહીં તેના પર નિર્ભર નથી આનો અર્થ એ છે કે ઘટના p B (A k) ની શરતી સંભાવના "સામાન્ય" ની બરાબર છે. સંભાવના p(A k).

વ્યાખ્યા. શરત B હેઠળ રેન્ડમ ચલ X ની શરતી એન્ટ્રોપી એ જથ્થો છે

(4.2)

શેનોનના સૂત્ર (3.3) થી તફાવત એ છે કે આપણે સંભાવનાઓને બદલે p(A k) નો ઉપયોગ કરીએ છીએ. શરતી સંભાવનાઓ p B (A k).

ચાલો હવે Y ને અન્ય રેન્ડમ વેરીએબલ લેતી કિંમતો (y 1 , y 2 , ... y M ) બનવા દો. ચાલો B j દ્વારા રેન્ડમ ચલ Y ની કિંમત y j પર લે છે તે ઘટનાને સૂચિત કરીએ:

B j = ( Y = y j ), j = 1, 2, … M.

અમે ઘટના B j ની સંભાવના p(B j) દ્વારા દર્શાવીએ છીએ.

વ્યાખ્યા. પર રેન્ડમ ચલ X ની શરતી એન્ટ્રોપી મૂલ્ય સેટ કરોરેન્ડમ ચલ Y એ H Y (X) જથ્થો છે

(4.3)

ચાલો ફોર્મ્યુલાનું પરિવર્તન કરીએ (4.3):

ફોર્મ્યુલા (4.3) ફોર્મ લે છે:

(4.4)

ચાલો રેન્ડમ ચલ Y નું અવલોકન કરીને મેળવેલ રેન્ડમ ચલ X વિશેની માહિતીના જથ્થાની ગણતરી કરીએ. માહિતીનો આ જથ્થો I(X,Y) રેન્ડમ વેરીએબલ Y નું અવલોકન કરતી વખતે રેન્ડમ ચલ X ની એન્ટ્રોપીમાં થયેલા ઘટાડા સમાન છે:

ચાલો H(X) અને H Y (X) ના સમીકરણોને (15) માં બદલીએ:

પ્રથમ રકમમાં આપણે p(A k)=p(A k B 1)+ p(A k B 2)+ p(A k B 3)…+ p(A k B M) ને બદલીએ છીએ. આ સમાનતા ખરેખર થાય છે, કારણ કે ઘટનાઓ A k B 1 , A k B 2 , … A k B M એ જોડી પ્રમાણે અસંગત છે, અને જો A k થાય તો તેમાંથી એક થશે. તેનાથી વિપરીત, જો B j માંથી એક થાય છે, તો A k પણ થાય છે. પરિવર્તન ચાલુ રાખીને, અમને મળે છે:

તેથી, અન્ય રેન્ડમ ચલ Y નું અવલોકન કરતી વખતે અમારી પાસે રેન્ડમ ચલ X વિશેની માહિતીની માત્રાની ગણતરી કરવા માટેનું સૂત્ર છે:

(4.6)

જો રેન્ડમ ચલો(અથવા ઘટનાઓ) સ્વતંત્ર છે, તો પછી સંબંધ p(A k B j) = p(A k)p(B j) તેમના માટે ધરાવે છે - બે ઘટનાઓની સંયુક્ત ઘટનાની સંભાવના ની સંભાવનાઓના ઉત્પાદન જેટલી છે આ ઘટનાઓ.

મૂલ્ય I(X,Y) ના સંદર્ભમાં, નીચેના વિધાન સાચા છે.

સ્વતંત્ર રેન્ડમ ચલો માટે આપણે મેળવીએ છીએ

આનો અર્થ એ છે કે રેન્ડમ વેરીએબલ Y નું અવલોકન કરવાથી રેન્ડમ ચલ X વિશે માહિતી મેળવવામાં કોઈ ફાયદો થશે નહીં.

અન્ય કિસ્સાઓમાં, I(X,Y) >0, અને નીચેની અસમાનતા ધરાવે છે:

જો કાર્યાત્મક જોડાણ Y=F(X) હોય તો સમાનતા પ્રાપ્ત થાય છે. આ કિસ્સામાં, Y અવલોકન આપે છે સંપૂર્ણ માહિતી X વિશે. જો Y=X, તો I(X,X) = H(X).

જથ્થો I(X,Y) સપ્રમાણ છે: I(X,Y) = I(Y,X). આનો અર્થ એ છે કે રેન્ડમ ચલ Y નું અવલોકન રેન્ડમ ચલ X વિશે તેટલી જ માહિતી પ્રદાન કરે છે જેટલું રેન્ડમ ચલ Xનું અવલોકન રેન્ડમ ચલ Y સંબંધિત પ્રદાન કરે છે. જો આપણે બે રેન્ડમ ચલોને ધ્યાનમાં લઈએ જે સ્ટોકેસ્ટિક અવલંબનમાં છે, તો પછી માહિતી સિદ્ધાંત દ્વારા તે સ્થાપિત કરવું અશક્ય છે કે કયું કારણ છે અને કયું અસર.

શરતી એન્ટ્રોપી

ચાલો સંકુલની સંયુક્ત એન્ટ્રોપી શોધીએ માહિતી સિસ્ટમ(રચના A, B) જો તેમના સંદેશા સ્વતંત્ર નથી, એટલે કે. જો સંદેશ B ની સામગ્રી સંદેશ A થી પ્રભાવિત હોય.

ઉદાહરણ તરીકે, ફૂટબોલ ટીમો ધૂમકેતુ અને રોકેટ વચ્ચેની મેચ વિશેનો સંદેશ, "ધૂમકેતુ જીત્યો," રોકેટ કેવી રીતે રમ્યો તે અંગેની અનિશ્ચિતતાને સંપૂર્ણપણે દૂર કરે છે.

બીજું ઉદાહરણ: સંદેશ A માં માણસ વિશેની માહિતી (છેલ્લું નામ, પ્રથમ નામ, આશ્રયદાતા, જન્મ વર્ષ, જન્મ સ્થળ, શિક્ષણ, ઘરનું સરનામું અને ટેલિફોન નંબર) અને સંદેશનો સમાવેશ થાય છે. INસ્ત્રી વિશે સમાન માહિતી ધરાવે છે - ઉલ્લેખિત પુરુષની પત્ની. દેખીતી રીતે સંદેશ INઆંશિક રીતે માહિતી A સમાવે છે, એટલે કે: પત્નીનું છેલ્લું નામ, તેણીનું ઘરનું સરનામું અને ટેલિફોન નંબર, સંભવતઃ પતિના છેલ્લા નામ, ઘરનું સરનામું અને ટેલિફોન નંબર, તેમજ તેના જન્મના વર્ષનો સંભવિત અંદાજ, જે સંભવતઃ સંભવ છે. પતિના જન્મના વર્ષની નજીક. તો સંદેશ INસંદેશ A કરતાં અમારા માટે ઓછી માહિતી વહન કરે છે, અને બે સંદેશાઓની સંયુક્ત માહિતી વ્યક્તિગત સંદેશાની માહિતીનો સરળ સરવાળો નથી.

સ્ત્રોત દો એએક જોડાણ બનાવે છે માસંદેશાઓ (a, a 2,..., a Ma), સ્ત્રોત એક જોડાણ બનાવે છે Mbસંદેશાઓ (b 2, b 2,..., bdd,) અને સ્ત્રોતો નિર્ભર છે. સામાન્ય મૂળાક્ષરોસ્ત્રોતો એ ફોર્મની જોડીનો સમૂહ છે (a, b;), મૂળાક્ષરોની કુલ શક્તિ છે: માએક્સ Mb.

જટિલ માહિતી પ્રણાલીની એન્ટ્રોપી (બે સ્ત્રોતોમાંથી) સમાન છે

ત્યારથી એ અને બીઆશ્રિત, પછી એ

એન્ટ્રોપી માટે અભિવ્યક્તિમાં આને બદલીને જટિલ સિસ્ટમ, અમને મળે છે:

પ્રથમ ટર્મમાં ઇન્ડેક્સ jથી જ ઉપલબ્ધ છે માં,સરવાળોનો ક્રમ બદલીને, આપણે ફોર્મની મુદત મેળવીએ છીએ ), જે 1 ની બરાબર છે, કારણ કે તે એક વિશ્વસનીય ઘટનાને દર્શાવે છે

(કોઈપણ સંદેશાઓ કોઈપણ સંજોગોમાં લાગુ કરવામાં આવે છે). તેથી, પ્રથમ શબ્દ સમાન છે:

બીજી મુદતમાં, ફોર્મની શરતો

સ્ત્રોત B ની એન્ટ્રોપીનો અર્થ છે, જો કે સંદેશ a સાકાર થયો હોય; - અમે તેને આંશિક શરતી એન્ટ્રોપી કહીશું. જો તમે દાખલ કરો આ ખ્યાલઅને તેના સંકેતનો ઉપયોગ કરો, પછી બીજા શબ્દનું સ્વરૂપ હશે:

અથવા વધુ વિગતો

જ્યાં H(B|A) એ સ્ત્રોતની કુલ શરતી એન્ટ્રોપી છે INસ્ત્રોત A ના સાપેક્ષ. અમે આખરે જટિલ સિસ્ટમની એન્ટ્રોપી માટે મેળવીએ છીએ:

પરિણામી અભિવ્યક્તિ છે સામાન્ય નિયમજટિલ સિસ્ટમની એન્ટ્રોપી શોધવી. તે એકદમ સ્પષ્ટ છે કે અભિવ્યક્તિ (2.9) એ (2.11) નો વિશેષ કેસ છે જો કે સ્ત્રોતો સ્વતંત્ર હોય એ અને બી.

શરતી એન્ટ્રોપી વિશે, નીચેના નિવેદનો કરી શકાય છે.

1. શરતી એન્ટ્રોપી એ બિન-નકારાત્મક જથ્થો છે. વધુમાં, H(B |A) = 0 જો કોઈ સંદેશ હોય તો જ એસંદેશને સંપૂર્ણપણે વ્યાખ્યાયિત કરે છે માં,તે

આ કિસ્સામાં H(A, B) = H(A).

2. જો સ્ત્રોત A અને INસ્વતંત્ર છે, તો H(B |A) = H(B), અને આ બહાર આવ્યું છે ઉચ્ચતમ મૂલ્યશરતી એન્ટ્રોપી. બીજા શબ્દોમાં કહીએ તો, સ્ત્રોત A નો સંદેશ સ્ત્રોત B ના સંદેશાની અનિશ્ચિતતાને વધારી શકતો નથી; તેની કાં તો કોઈ અસર થઈ શકે નહીં (જો સ્ત્રોત સ્વતંત્ર હોય) અથવા B ની એન્ટ્રોપી ઘટાડી શકે.

ઉપરોક્ત નિવેદનોને એક અસમાનતા દ્વારા જોડી શકાય છે:

તે શરતી એન્ટ્રોપી બિનશરતી એન્ટ્રોપી કરતાં વધી નથી.

3. સંબંધોમાંથી (2.11) અને (2.12) તે તેને અનુસરે છે

તદુપરાંત, સમાનતા ત્યારે જ પ્રાપ્ત થાય છે જો સ્ત્રોત A અને B સ્વતંત્ર હોય.

સ્ત્રોત એન્ટ્રોપી સતત સંદેશા

એક સિસ્ટમનો વિચાર કરો જ્યાં ગુણવત્તા લક્ષણોઅવસ્થાઓ સતત બદલાય છે ( સતત સંકેત). સિસ્ટમ x માં હોવાની સંભાવના (એટલે ​​​​કે સિગ્નલ x મૂલ્ય લે છે) સંભાવના ઘનતા /(x) દ્વારા વર્ગીકૃત થયેલ છે. આવા સંદેશાની એન્ટ્રોપી શોધવા માટે, અમે સંભવિત સિગ્નલ ફેરફારોની શ્રેણીને Dx કદના ડિસ્ક્રીટ્સમાં વિભાજીત કરીએ છીએ. i-th discrete માં સિસ્ટમ શોધવાની સંભાવના બરાબર છે