શરતી એન્ટ્રોપી ઉદાહરણ. સતત સંદેશાઓના સ્ત્રોતની એન્ટ્રોપી

એન્ટ્રોપીની ગણતરી માટે શેનોનના સૂત્ર (3.3) ને ધ્યાનમાં લેવું રેન્ડમ ચલઅને માહિતીની માત્રા, અમે ધાર્યું કે રેન્ડમ ચલ (X) વિશેની માહિતી સીધી નિરીક્ષકને આવે છે. જો કે, એક નિયમ તરીકે, અમને રુચિ ધરાવતા રેન્ડમ ચલ (X) વિશે નહીં, પરંતુ અન્ય કોઈ (Y) વિશેની માહિતી પ્રાપ્ત થાય છે, જે સ્ટોકેસ્ટિક રીતે X સાથે સંબંધિત છે. રેન્ડમ ચલોનું આવું જોડાણ કાર્યાત્મક જોડાણથી અલગ પડે છે, જેમાં એક મૂલ્યનું દરેક મૂલ્ય બીજા મૂલ્યના એક, સારી રીતે વ્યાખ્યાયિત મૂલ્યને અનુરૂપ હોય છે. બે રેન્ડમ વેરિયેબલ્સ X અને Y વચ્ચેના સ્ટોકેસ્ટિક (સંભવિત) જોડાણનો અર્થ એ છે કે તેમાંના એકમાં ફેરફાર બીજાના મૂલ્યને અસર કરે છે, પરંતુ એવી રીતે કે X નું મૂલ્ય જાણીને તે મૂલ્યને ચોક્કસ રીતે દર્શાવવું અશક્ય છે કે જે મૂલ્ય Y લેશે. તમે ફક્ત Y મૂલ્યમાં ફેરફારનું વલણ સૂચવી શકો છો.

B ને રેન્ડમ ઘટના બનવા દો; p(B) - તેની ઘટનાની સંભાવના; ચાલો X દ્વારા રેન્ડમ વેરીએબલ દર્શાવીએ જે N લે છે વિવિધ અર્થો(x 1 , x 2 , … x N ), અને A k દ્વારા ઘટના કે રેન્ડમ ચલ X એ x k મૂલ્ય લેશે:

A k = ( X = x k ), k = 1,2, …N ;

અમે ઘટના A k ની સંભાવના p(A k) દ્વારા દર્શાવીએ છીએ. કેટલીક ઘટનાઓ બનવાની સંભાવના અન્ય કોઈ ઘટના બને છે કે નહીં તેના આધારે બદલાઈ શકે છે. ઘટના A k ની સંભાવના p B (A k), ઘટના B આવી છે તેવી ધારણા હેઠળ ગણવામાં આવે છે, તેને ઘટના A k ની શરતી સંભાવના કહેવામાં આવે છે, આ કિસ્સામાં:

ઘટનાઓ A k અને B ને સ્વતંત્ર કહેવામાં આવે છે જો ઘટના A k ની સંભાવના ઘટના B બની છે કે નહીં તેના પર નિર્ભર નથી આનો અર્થ એ છે કે ઘટના p B (A k) ની શરતી સંભાવના "સામાન્ય" ની બરાબર છે. સંભાવના p(A k).

વ્યાખ્યા. શરત B હેઠળ રેન્ડમ ચલ X ની શરતી એન્ટ્રોપી એ જથ્થો છે

(4.2)

શેનોનના સૂત્ર (3.3) થી તફાવત એ છે કે p(A k) સંભાવનાઓને બદલે, શરતી સંભાવનાઓ p B (A k) નો ઉપયોગ થાય છે.

ચાલો હવે Y ને અન્ય રેન્ડમ વેરીએબલ લેતી કિંમતો (y 1 , y 2 , ... y M ) બનવા દો. ચાલો B j દ્વારા રેન્ડમ ચલ Y ની કિંમત y j પર લે છે તે ઘટનાને સૂચિત કરીએ:

B j = ( Y = y j ), j = 1, 2, … M.

અમે ઘટના B j ની સંભાવના p(B j) દ્વારા દર્શાવીએ છીએ.

વ્યાખ્યા. પર રેન્ડમ ચલ X ની શરતી એન્ટ્રોપી મૂલ્ય સેટ કરોરેન્ડમ ચલ Y એ H Y (X) જથ્થો છે

(4.3)

ચાલો ફોર્મ્યુલાનું પરિવર્તન કરીએ (4.3):

ફોર્મ્યુલા (4.3) ફોર્મ લે છે:

(4.4)

ચાલો રેન્ડમ ચલ Y નું અવલોકન કરીને મેળવેલ રેન્ડમ ચલ X વિશેની માહિતીના જથ્થાની ગણતરી કરીએ. માહિતીનો આ જથ્થો I(X,Y) રેન્ડમ વેરીએબલ Y નું અવલોકન કરતી વખતે રેન્ડમ ચલ X ની એન્ટ્રોપીમાં થયેલા ઘટાડા સમાન છે:

ચાલો H(X) અને H Y (X) ના સમીકરણોને (15) માં બદલીએ:

પ્રથમ રકમમાં આપણે p(A k)=p(A k B 1)+ p(A k B 2)+ p(A k B 3)…+ p(A k B M) ને બદલીએ છીએ. આ સમાનતા ખરેખર થાય છે, કારણ કે ઘટનાઓ A k B 1 , A k B 2 , … A k B M એ જોડી પ્રમાણે અસંગત છે, અને જો A k થાય તો તેમાંથી એક થશે. તેનાથી વિપરીત, જો B j માંથી એક થાય છે, તો A k પણ થાય છે. પરિવર્તન ચાલુ રાખીને, અમને મળે છે:

તેથી, અન્ય રેન્ડમ ચલ Y નું અવલોકન કરતી વખતે અમારી પાસે રેન્ડમ ચલ X વિશેની માહિતીની માત્રાની ગણતરી કરવા માટેનું સૂત્ર છે:

(4.6)

જો અવ્યવસ્થિત ચલો (અથવા ઘટનાઓ) સ્વતંત્ર હોય, તો તેમના માટે સંબંધ p(A k B j) = p(A k)p(B j) ધરાવે છે - બે ઘટનાઓની સંયુક્ત ઘટનાની સંભાવના તેના ગુણાંક જેટલી છે. આ ઘટનાઓની સંભાવનાઓ.

મૂલ્ય I(X,Y) ના સંદર્ભમાં, નીચેના વિધાન સાચા છે.

સ્વતંત્ર રેન્ડમ ચલો માટે આપણે મેળવીએ છીએ

આનો અર્થ એ છે કે રેન્ડમ વેરીએબલ Y નું અવલોકન કરવાથી રેન્ડમ ચલ X વિશે માહિતી મેળવવામાં કોઈ ફાયદો થશે નહીં.

અન્ય કિસ્સાઓમાં, I(X,Y) >0, અને નીચેની અસમાનતા ધરાવે છે:

જો કાર્યાત્મક જોડાણ Y=F(X) હોય તો સમાનતા પ્રાપ્ત થાય છે. આ કિસ્સામાં, Y અવલોકન આપે છે સંપૂર્ણ માહિતી X વિશે. જો Y=X, તો I(X,X) = H(X).

જથ્થો I(X,Y) સપ્રમાણ છે: I(X,Y) = I(Y,X). આનો અર્થ એ છે કે રેન્ડમ ચલ Y નું અવલોકન રેન્ડમ ચલ X વિશે તેટલી જ માહિતી પ્રદાન કરે છે જેટલું રેન્ડમ ચલ Xનું અવલોકન રેન્ડમ ચલ Y સંબંધિત પ્રદાન કરે છે. જો આપણે બે રેન્ડમ ચલોને ધ્યાનમાં લઈએ જે સ્ટોકેસ્ટિક અવલંબનમાં છે, તો પછી માહિતી સિદ્ધાંત દ્વારા તે સ્થાપિત કરવું અશક્ય છે કે કયું કારણ છે અને કયું અસર.

વધુ પ્રસ્તુતિ માટે અમને સંભાવના સિદ્ધાંતમાંથી કેટલીક જાણીતી માહિતીની જરૂર પડશે.

1) જોડાણ માટે સંભાવનાઓના ગુણધર્મો રેન્ડમ ઘટનાઓ એઅને IN:

P(A,B)=P(A)*P(B/A); -> P(B/A)=P(A,B)/P(B);

P(A,B)=P(B)*P(B/A); -> P(A/B)=P(A,B)/P(A);

P(A/B)=P(A)*P(B/A)/P(B);

P(B/A)=P(B)*P(A/B)/P(A); એઅને INજો

સ્વતંત્ર છે, તો પછી

P(A/B)=P(A); P(B/A)=P(B):

P(A,B)=P(A)*P(B);

ફરી એકવાર, અલગ સંદેશાના સ્ત્રોત માટે શેનોન એન્ટ્રોપીની વ્યાખ્યા:

તેના ગુણધર્મો: ;

H > 0એનm;

ax = લોગ એન સ્વતંત્ર સ્ત્રોતો સાથે;

H(A,B)=H(A)+H(B)

જો સિસ્ટમ તત્વોની સ્થિતિઓ એકબીજા પર નિર્ભર ન હોય અથવા જો એક સિસ્ટમની સ્થિતિ બીજી સિસ્ટમની સ્થિતિ પર નિર્ભર ન હોય, તો અનિશ્ચિતતા કે સિસ્ટમના કેટલાક તત્વ (અથવા કેટલીક સિસ્ટમ) એકમાં હશે. સંભવિત સ્થિતિઓ સિસ્ટમના વ્યક્તિગત ઘટકોની સંભવિત લાક્ષણિકતાઓ દ્વારા સંપૂર્ણપણે નક્કી કરવામાં આવશે. આ કિસ્સામાં ચોક્કસ રકમસિસ્ટમ તત્વની સ્થિતિ દીઠ માહિતી અથવા પ્રતિ સંદેશ પ્રતીકને સરેરાશ એન્ટ્રોપી કહેવામાં આવે છે, અને તેની ગણતરી કરતી વખતે, અભિવ્યક્તિનો ઉપયોગ થાય છે

સંદેશ પ્રતીક દીઠ માહિતીની સરેરાશ રકમની ગણતરી કરતી વખતે, પરસ્પર નિર્ભરતાને ધ્યાનમાં લેવામાં આવે છે અન્યની તુલનામાં કેટલીક ઘટનાઓની ઘટનાની શરતી સંભાવનાઓ અને પરિણામી એન્ટ્રોપીને શરતી એન્ટ્રોપી કહેવામાં આવે છે.

ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ b 1 , a 2 - b 2 વગેરે આ કિસ્સામાં, દખલ સાથે ચેનલ માટે, ટ્રાન્સમિશન વિકૃત થાય છે, અને જ્યારે પ્રતીક પ્રાપ્ત થાય છે b 1 અમે ફક્ત પ્રતીકના પુનઃપ્રસારણની સંભાવના વિશે વાત કરી શકીએ છીએ a 1 . તે સારી રીતે હોઈ શકે છે કે પાત્રો પ્રસારિત થયા હતા a 2 , a 3 વગેરે

વિકૃતિઓ શરતી ચેનલ સંભાવનાઓના મેટ્રિક્સ દ્વારા વર્ણવવામાં આવે છે પી(એ/ બી)={ પી(a i / b i }.

ચાલો અવાજ સાથે સંદેશાવ્યવહાર ચેનલ પર સંકેતો પ્રસારિત કરવાની પ્રક્રિયાને ધ્યાનમાં લઈએ અને શરતી એન્ટ્રોપીની ગણતરી કરવાની પદ્ધતિને સમજવા માટે તેનો ઉપયોગ કરીએ.

જો સંદેશ સ્ત્રોત અક્ષરો ઉત્પન્ન કરે છે

a l , એ 2 , ..., એ i ..., એ n

તે મુજબ સંભાવનાઓ સાથે

p(a 1 ), p (a 2 ) ... ..., p (a i ), ..., p (a n ),

અને ટ્રાન્સમિશન ચેનલના આઉટપુટ પર આપણે પ્રતીકો પ્રાપ્ત કરીએ છીએ

b 1 ,બી 2 , ..., બી i ..., બી n

તે મુજબ સંભાવનાઓ સાથે

p(b 1 ), પી (b 2 ), ..., પી (બી i , ..., પી (b n ),

પછી શરતી એન્ટ્રોપીનો ખ્યાલ H (B/a i ) મોકલીને અનિશ્ચિતતા વ્યક્ત કરે છે a i , અમે મેળવીશું b i., ખ્યાલ એચ(A/b i ) અનિશ્ચિતતા જે પ્રાપ્ત કર્યા પછી રહે છે b i બરાબર શું મોકલવામાં આવ્યું હતું a i. આ ઉપરની આકૃતિમાં ગ્રાફિકલી રીતે દર્શાવવામાં આવ્યું છે. જો સંદેશાવ્યવહાર ચેનલમાં દખલગીરી હોય, તો પછી કોઈપણ સંકેતો સંભવિતતાના વિવિધ ડિગ્રી સાથે પ્રાપ્ત થઈ શકે છે. b j અને, તેનાથી વિપરીત, પ્રાપ્ત સિગ્નલ b jકોઈપણ સિગ્નલ મોકલવાના પરિણામે દેખાઈ શકે છે a i . જો સંચાર ચેનલમાં કોઈ દખલ નથી, તો મોકલેલ પ્રતીક હંમેશા છે એ 1 સ્વીકૃત પાત્ર સાથે મેળ ખાય છે b 1 , એ 2 -બી 2 , ..., એ n -બી n .

આ કિસ્સામાં, સંદેશ સ્ત્રોત H(A) ની એન્ટ્રોપી સંદેશ પ્રાપ્તકર્તા H(B) ની એન્ટ્રોપી જેટલી છે.. જો સંચાર ચેનલમાં દખલગીરી હોય, તો તે પ્રસારિત માહિતીના ભાગને નષ્ટ અથવા વિકૃત કરે છે.

માહિતીના નુકસાનનું સંપૂર્ણ વર્ણન ખાનગી અને સામાન્ય શરતી એન્ટ્રોપી દ્વારા કરવામાં આવે છે. ચેનલ મેટ્રિસિસનો ઉપયોગ કરીને આંશિક અને સામાન્ય શરતી એન્ટ્રોપીની ગણતરી કરવી અનુકૂળ છે. "ચેનલ મેટ્રિક્સ" શબ્દનો અર્થ છે: એક મેટ્રિક્સ જે આંકડાકીય રીતે વર્ણવે છે આ ચેનલજોડાણ, સંક્ષિપ્તતા માટે વપરાય છે. જો સંદેશાવ્યવહાર ચેનલનું વર્ણન સંદેશ સ્ત્રોતની બાજુથી કરવામાં આવે છે (એટલે ​​​​કે મોકલેલ સિગ્નલ જાણીતું છે), તો સંભાવના કે જ્યારે સિગ્નલ પ્રસારિત થાય છે a i દખલ સાથે સંચાર ચેનલ દ્વારા અમને સિગ્નલ પ્રાપ્ત થશે b j શરતી સંભાવના તરીકે સૂચિત p(b j /AI).અને ચેનલ મેટ્રિક્સ ફોર્મ ધરાવે છે

સંભાવનાઓ કે જે વિકર્ણ (બોલ્ડમાં) સાથે સ્થિત છે તે યોગ્ય સ્વાગતની સંભાવનાઓ નક્કી કરે છે, બાકીની - ખોટી. ચેનલ મેટ્રિક્સના સ્તંભોને ભરતા અંકોના મૂલ્યો સામાન્ય રીતે મુખ્ય કર્ણથી અંતર સાથે ઘટે છે, અને દખલગીરીની સંપૂર્ણ ગેરહાજરીમાં, મુખ્ય કર્ણ પર સ્થિત અંકો સિવાયના તમામ શૂન્ય સમાન હોય છે.

પ્રતીક પસાર a iઆપેલ સંચાર ચેનલમાં સંદેશ સ્ત્રોતની બાજુથી ફોર્મની શરતી સંભાવનાઓના વિતરણ દ્વારા વર્ણવવામાં આવે છે p(b j /a i ), સંભાવનાઓનો સરવાળો હંમેશા એક સમાન હોવો જોઈએ. ઉદાહરણ તરીકે, સિગ્નલ માટે એ 1

સિગ્નલ શેર દીઠ માહિતીની ખોટ a iઆંશિક શરતી એન્ટ્રોપીનો ઉપયોગ કરીને વર્ણવેલ છે. ઉદાહરણ તરીકે, સિગ્નલ માટે a 1

સરવાળો અનુસાર હાથ ધરવામાં આવે છે જે,કારણ કે i-મું રાજ્ય (માં આ કિસ્સામાંપ્રથમ) સ્થિર રહે છે.

ટ્રાન્સમિશન નુકશાન બધા સંકેતોઆપેલ કોમ્યુનિકેશન ચેનલ પર સામાન્ય શરતી એન્ટ્રોપીનો ઉપયોગ કરીને વર્ણવવામાં આવે છે. તેની ગણતરી કરવા માટે, તમારે તમામ આંશિક શરતી એન્ટ્રોપીઓનો સરવાળો કરવો જોઈએ, એટલે કે, ઉપર એક ડબલ સમેશન કરવું iઅને દ્વારા j.

સંદેશ સ્ત્રોત પ્રતીકોની ઘટનાની અસમાન સંભાવનાના કિસ્સામાં, દરેક પ્રતીકના દેખાવની સંભાવના તેના દ્વારા અનુરૂપ આંશિક શરતી એન્ટ્રોપીનો ગુણાકાર કરીને ધ્યાનમાં લેવી જોઈએ. આ કિસ્સામાં, કુલ શરતી એન્ટ્રોપી

જો આપણે બહારથી પરિસ્થિતિ તપાસીએ સંદેશ પ્રાપ્તકર્તા(એટલે ​​કે જ્યારે પ્રાપ્ત સિગ્નલ જાણીતું છે), પછી પ્રતીકની રસીદ સાથે b jએવું માનવામાં આવે છે કે પ્રતીકોમાંથી એક મોકલવામાં આવ્યો હતો a 1 , a 2 , …, a i ,…, a એન. આ કિસ્સામાં, ચેનલ મેટ્રિક્સનું ફોર્મ છે:

આ કિસ્સામાં, શરતી સંભાવનાઓનો સરવાળો પંક્તિઓમાં નહીં, પરંતુ ચેનલ મેટ્રિક્સના કૉલમમાં એક સમાન હોવો જોઈએ.

આંશિક શરતી એન્ટ્રોપી

અને કુલ શરતી એન્ટ્રોપી

સિસ્ટમની કુલ શરતી એન્ટ્રોપી B સિસ્ટમ A ને સંબંધિત સંદેશ સ્ત્રોતના કોઈપણ પ્રતીકમાં સમાવિષ્ટ માહિતીના જથ્થાને દર્શાવે છે જેના દ્વારા આપણે અભ્યાસ હેઠળની સિસ્ટમના તત્વોની સ્થિતિનું પ્રતિનિધિત્વ કરીએ છીએ.

સામાન્ય શરતી એન્ટ્રોપી તમામ પ્રતીકોની સરેરાશથી નક્કી કરવામાં આવે છે, એટલે કે, તમામ રાજ્યો પર એ iતેમાંના દરેકની ઘટનાની સંભાવનાને ધ્યાનમાં લેતા. તે સ્રોત પ્રતીકોના દેખાવની સંભાવનાના ઉત્પાદનોના સરવાળો અને સંબોધિતને પ્રતીકો પ્રાપ્ત કર્યા પછી રહેતી અનિશ્ચિતતાની સમાન છે:

જો સંચાર ચેનલમાં કોઈ દખલ ન હોય, તો મુખ્ય કર્ણ પર સ્થિત સિવાયના ચેનલ મેટ્રિક્સના તમામ ઘટકો શૂન્ય સમાન છે. આ સૂચવે છે કે સિગ્નલ ટ્રાન્સમિટ કરતી વખતે એ 1 અમે ચોક્કસપણે મેળવીશું b 1 ટ્રાન્સમિશન પર એ 2 - b 2 , ..., એ એન - b એન. સાચો સિગ્નલ મળવાની સંભાવના બની જશે બિનશરતી, અને શરતી એન્ટ્રોપી શૂન્ય હશે.

શરતી એન્ટ્રોપી તેના મહત્તમ સુધી પહોંચે છે જ્યારે, જ્યારે પ્રતીક પ્રસારિત થાય છે એ iકદાચ સાથે સમાન સંભાવનાકોઈપણ પ્રાપ્ત સંકેતો b 1 , b 2 , ..., b એન .

શરતી એન્ટ્રોપી

એન્ટ્રોપી (માહિતીલક્ષી)- માહિતીની અરાજકતાનું માપ, પ્રાથમિક મૂળાક્ષરના કોઈપણ પ્રતીકના દેખાવની અનિશ્ચિતતા. માહિતીની ખોટની ગેરહાજરીમાં, તે પ્રસારિત સંદેશના પ્રતીક દીઠ માહિતીના જથ્થાના આંકડાકીય રીતે સમાન છે.

ઉદાહરણ તરીકે, અક્ષરોના ક્રમમાં જે રશિયનમાં વાક્ય બનાવે છે, વિવિધ અક્ષરોવિવિધ આવર્તન સાથે દેખાય છે, તેથી ઘટનાની અનિશ્ચિતતા કેટલાક અક્ષરો માટે અન્ય કરતા ઓછી હોય છે. જો આપણે ધ્યાનમાં લઈએ કે અક્ષરોના કેટલાક સંયોજનો (આ કિસ્સામાં આપણે એન્ટ્રોપી વિશે વાત કરીએ છીએ n-મો ક્રમ, જુઓ) ખૂબ જ દુર્લભ છે, પછી અનિશ્ચિતતા વધુ ઓછી થાય છે.

માહિતી એન્ટ્રોપીની વિભાવનાને સમજાવવા માટે, તમે થર્મોડાયનેમિક એન્ટ્રોપીના ક્ષેત્રના ઉદાહરણનો પણ આશરો લઈ શકો છો, જેને મેક્સવેલનો રાક્ષસ કહેવાય છે. માહિતી અને એન્ટ્રોપીની વિભાવનાઓ એકબીજા સાથે ઊંડા જોડાણ ધરાવે છે, પરંતુ આ હોવા છતાં, સિદ્ધાંતોનો વિકાસ આંકડાકીય મિકેનિક્સઅને માહિતી સિદ્ધાંતને એકબીજા સાથે સુસંગત બનાવવામાં ઘણા વર્ષો લાગ્યા.

ઔપચારિક વ્યાખ્યાઓ

માહિતી એન્ટ્રોપીસ્વતંત્ર રેન્ડમ ઘટનાઓ માટે xસાથે n શક્ય શરતો(1 થી n) ની ગણતરી સૂત્રનો ઉપયોગ કરીને કરવામાં આવે છે:

આ જથ્થાને પણ કહેવામાં આવે છે સરેરાશ સંદેશ એન્ટ્રોપી. જથ્થો કહેવાય છે ખાનગી એન્ટ્રોપી, માત્ર લાક્ષણિકતા i-ઇ રાજ્ય.

આમ, ઘટનાની એન્ટ્રોપી xસાથે સરવાળો છે વિરોધી ચિહ્નબધા કામો સંબંધિત ફ્રીક્વન્સીઝઘટનાની ઘટના i, તેમના પોતાના દ્વિસંગી લઘુગણક દ્વારા ગુણાકાર (આધાર 2 ફક્ત બાઈનરી સ્વરૂપમાં પ્રસ્તુત માહિતી સાથે કામ કરવાની સુવિધા માટે પસંદ કરવામાં આવ્યો હતો). સ્વતંત્ર રેન્ડમ ઘટનાઓ માટેની આ વ્યાખ્યાને સંભાવના વિતરણ કાર્ય સુધી વિસ્તૃત કરી શકાય છે.

સામાન્ય રીતે b-એરી એન્ટ્રોપી(જ્યાં bબરાબર 2, 3, ...) મૂળ મૂળાક્ષરો સાથે સ્ત્રોત અને સ્વતંત્ર વિતરણસંભાવનાઓ જ્યાં પી iસંભાવના છે a i (પી i = પી(a i) ) સૂત્ર દ્વારા નક્કી કરવામાં આવે છે:

શેનોન એન્ટ્રોપીની વ્યાખ્યા થર્મોડાયનેમિક એન્ટ્રોપીની વિભાવના સાથે સંબંધિત છે. બોલ્ટ્ઝમેન અને ગિબ્સે કર્યું મહાન કામદ્વારા આંકડાકીય થર્મોડાયનેમિક્સ, જેણે માં "એન્ટ્રોપી" શબ્દ અપનાવવામાં ફાળો આપ્યો માહિતી સિદ્ધાંત. થર્મોડાયનેમિક અને માહિતી એન્ટ્રોપી વચ્ચે જોડાણ છે. ઉદાહરણ તરીકે, મેક્સવેલનો રાક્ષસ પણ વિરોધાભાસી છે થર્મોડાયનેમિક એન્ટ્રોપીમાહિતી, અને કોઈપણ માત્રામાં માહિતી મેળવવી એ ખોવાયેલી એન્ટ્રોપી સમાન છે.

વૈકલ્પિક વ્યાખ્યા

એન્ટ્રોપી ફંક્શનને વ્યાખ્યાયિત કરવાની બીજી રીત છે એચતેનો પુરાવો છે એચજો અને માત્ર જો એચશરતો સંતોષે છે:

ગુણધર્મો

એ યાદ રાખવું અગત્યનું છે કે એન્ટ્રોપી એ સંદર્ભમાં વ્યાખ્યાયિત થયેલ જથ્થો છે સંભવિત મોડેલડેટા સ્ત્રોત માટે. ઉદાહરણ તરીકે, સિક્કો ફેંકવામાં એન્ટ્રોપી − 2(0.5log 2 0.5) = 1 બીટ પ્રતિ ટૉસ હોય છે (ધારો કે તે સ્વતંત્ર છે). એક સ્ત્રોત કે જે ફક્ત "A" અક્ષરો ધરાવતી સ્ટ્રિંગ જનરેટ કરે છે તેમાં શૂન્ય એન્ટ્રોપી છે: . તેથી, ઉદાહરણ તરીકે, તે એન્ટ્રોપીને પ્રાયોગિક રીતે સ્થાપિત કરી શકાય છે અંગ્રેજી લખાણઅક્ષર દીઠ 1.5 બિટ્સ બરાબર છે, જે અલબત્ત અલગ-અલગ ગ્રંથો માટે બદલાશે. ડેટા સ્ત્રોતની એન્ટ્રોપીની ડિગ્રીનો અર્થ છે શ્રેષ્ઠ એન્કોડિંગ સાથે માહિતીની ખોટ વિના તેને એન્ક્રિપ્ટ કરવા માટે જરૂરી ડેટા ઘટક દીઠ બિટ્સની સરેરાશ સંખ્યા.

1. કેટલાક ડેટા બિટ્સ માહિતી વહન કરી શકતા નથી. દા.ત.
2. એન્ટ્રોપીની માત્રા હંમેશા બિટ્સની પૂર્ણાંક સંખ્યા તરીકે દર્શાવવામાં આવતી નથી.

ગાણિતિક ગુણધર્મો

કાર્યક્ષમતા

વ્યવહારમાં મળેલા મૂળ મૂળાક્ષરોમાં સંભવિત વિતરણ છે જે શ્રેષ્ઠથી દૂર છે. જો મૂળ મૂળાક્ષરો હોય nઅક્ષરો, પછી તેની તુલના "ઓપ્ટિમાઇઝ મૂળાક્ષરો" સાથે કરી શકાય છે જેની સંભાવના વિતરણ સમાન છે. મૂળ અને ઑપ્ટિમાઇઝ મૂળાક્ષરોનો એન્ટ્રોપી રેશિયો એ મૂળ મૂળાક્ષરોની કાર્યક્ષમતા છે, જેને ટકાવારી તરીકે દર્શાવી શકાય છે.

તે આનાથી અનુસરે છે કે મૂળ મૂળાક્ષરોની અસરકારકતા સાથે nપ્રતીકોને તેના સમાન તરીકે વ્યાખ્યાયિત કરી શકાય છે n-એરી એન્ટ્રોપી.

એન્ટ્રોપી મહત્તમ શક્ય લોસલેસ (અથવા લગભગ લોસલેસ) કમ્પ્રેશનને મર્યાદિત કરે છે જે સૈદ્ધાંતિક રીતે લાક્ષણિક સમૂહ અથવા વ્યવહારમાં, હફમેન કોડિંગ, લેમ્પેલ-ઝિવ-વેલ્ચ કોડિંગ અથવા અંકગણિત કોડિંગનો ઉપયોગ કરીને અનુભવી શકાય છે.

ભિન્નતા અને સામાન્યીકરણ

શરતી એન્ટ્રોપી

જો મૂળાક્ષરોના અક્ષરોનો ક્રમ સ્વતંત્ર નથી (ઉદાહરણ તરીકે, માં ફ્રેન્ચઅક્ષર "q" લગભગ હંમેશા "u" દ્વારા અનુસરવામાં આવે છે, અને શબ્દ "અદ્યતન" માં સોવિયત અખબારોસામાન્ય રીતે શબ્દ "ઉત્પાદન" અથવા "શ્રમ" દ્વારા અનુસરવામાં આવે છે, આવા પ્રતીકોના ક્રમ (અને તેથી એન્ટ્રોપી) દ્વારા વહન કરવામાં આવતી માહિતીનો જથ્થો દેખીતી રીતે ઓછો છે. આવા તથ્યોને ધ્યાનમાં લેવા માટે, શરતી એન્ટ્રોપીનો ઉપયોગ કરવામાં આવે છે.

ફર્સ્ટ-ઓર્ડર કન્ડીશનલ એન્ટ્રોપી (પ્રથમ-ક્રમ માર્કોવ મોડલની જેમ) એ મૂળાક્ષરો માટેની એન્ટ્રોપી છે જ્યાં એક પછી બીજા અક્ષરની સંભાવનાઓ જાણીતી છે (એટલે ​​​​કે, બે-અક્ષરોના સંયોજનોની સંભાવનાઓ):

જ્યાં iપૂર્વવર્તી પાત્ર પર આધારિત રાજ્ય છે, અને પી i (j) - આ સંભાવના છે j, જો કે iઅગાઉનું પાત્ર હતું.

તેથી, "" અક્ષર વિના રશિયન ભાષા માટે.

ઘોંઘાટીયા ચેનલમાં ડેટા ટ્રાન્સમિશન દરમિયાન માહિતીની ખોટ આંશિક અને સામાન્ય શરતી એન્ટ્રોપીઝ દ્વારા સંપૂર્ણપણે વર્ણવવામાં આવે છે. આ હેતુ માટે, કહેવાતા ચેનલ મેટ્રિસિસ. તેથી, સ્ત્રોતના ભાગ પરના નુકસાનનું વર્ણન કરવા માટે (એટલે ​​​​કે, મોકલેલ સંકેત જાણીતો છે), રીસીવર દ્વારા પ્રતીક પ્રાપ્ત કરવાની શરતી સંભાવના ગણવામાં આવે છે. b jજો કે પાત્ર મોકલવામાં આવ્યું હતું a i. આ કિસ્સામાં, ચેનલ મેટ્રિક્સનું નીચેનું સ્વરૂપ છે:

દેખીતી રીતે, કર્ણ સાથે સ્થિત સંભાવનાઓ યોગ્ય સ્વાગતની સંભાવનાનું વર્ણન કરે છે, અને કૉલમના તમામ ઘટકોનો સરવાળો પ્રાપ્તકર્તાની બાજુ પર દેખાતા અનુરૂપ પ્રતીકની સંભાવના આપશે - પી(b j) . પ્રસારિત સિગ્નલ દીઠ નુકસાન a i, આંશિક શરતી એન્ટ્રોપી દ્વારા વર્ણવવામાં આવે છે:

તમામ સિગ્નલોના ટ્રાન્સમિશન નુકસાનની ગણતરી કરવા માટે, સામાન્ય શરતી એન્ટ્રોપીનો ઉપયોગ થાય છે:

તેનો અર્થ સ્ત્રોત બાજુ પર એન્ટ્રોપી છે; રીસીવર બાજુ પરની એન્ટ્રોપી સમાન રીતે ગણવામાં આવે છે: દરેક જગ્યાએ તે સૂચવવામાં આવે છે (લાઇનના ઘટકોનો સારાંશ દ્વારા તમે મેળવી શકો છો પી(a i) , અને વિકર્ણ તત્વોનો અર્થ એ સંભાવના છે કે જે ચોક્કસ પાત્ર પ્રાપ્ત થયું હતું તે મોકલવામાં આવ્યું હતું, એટલે કે, સાચા ટ્રાન્સમિશનની સંભાવના).

મ્યુચ્યુઅલ એન્ટ્રોપી

મ્યુચ્યુઅલ એન્ટ્રોપી, અથવા યુનિયન એન્ટ્રોપી, ઇન્ટરકનેક્ટેડ સિસ્ટમ્સની એન્ટ્રોપીની ગણતરી કરવા માટે બનાવાયેલ છે (આંકડાકીય રીતે આશ્રિત સંદેશાઓની સંયુક્ત ઘટનાની એન્ટ્રોપી) અને તે સૂચવવામાં આવે છે એચ(એબી), ક્યાં એ, હંમેશની જેમ, ટ્રાન્સમીટરની લાક્ષણિકતા, અને બી- રીસીવર.

પ્રસારિત અને પ્રાપ્ત સંકેતો વચ્ચેનો સંબંધ સંભાવનાઓ દ્વારા વર્ણવવામાં આવે છે સંયુક્ત ઘટનાઓ પી(a i b j) , અને માટે સંપૂર્ણ વર્ણનચેનલ લાક્ષણિકતાઓ, માત્ર એક મેટ્રિક્સ જરૂરી છે:

વધુ માટે સામાન્ય કેસ, જ્યારે તે કોઈ ચેનલ નથી જેનું વર્ણન કરવામાં આવી રહ્યું છે, પરંતુ ફક્ત ક્રિયાપ્રતિક્રિયા કરતી સિસ્ટમો છે, ત્યારે મેટ્રિક્સ ચોરસ હોવું જરૂરી નથી. દેખીતી રીતે, સંખ્યા સાથે કૉલમના તમામ ઘટકોનો સરવાળો jઆપશે પી(b j) , રેખા નંબરનો સરવાળો iછે પી(a i) , અને તમામ મેટ્રિક્સ તત્વોનો સરવાળો 1 ની બરાબર છે. સંયુક્ત સંભાવના પી(a i b j) ઘટનાઓ a iઅને b jમૂળ અને શરતી સંભાવનાના ઉત્પાદન તરીકે ગણવામાં આવે છે,

શરતી સંભાવનાઓબેયસના સૂત્રનો ઉપયોગ કરીને ઉત્પાદન કરવામાં આવે છે. આમ, સ્ત્રોત અને રીસીવરની એન્ટ્રોપીઝની ગણતરી કરવા માટેનો તમામ ડેટા છે:

મ્યુચ્યુઅલ એન્ટ્રોપીની ગણતરી મેટ્રિક્સની તમામ સંભાવનાઓને પંક્તિઓ (અથવા કૉલમ્સ) પર અનુક્રમે સરવાળો કરીને, તેમના લઘુગણક દ્વારા ગુણાકાર કરીને કરવામાં આવે છે:

માપનનું એકમ બીટ/બે પ્રતીકો છે, આ હકીકત દ્વારા સમજાવવામાં આવે છે કે મ્યુચ્યુઅલ એન્ટ્રોપી પ્રતીકોની જોડી દીઠ અનિશ્ચિતતાનું વર્ણન કરે છે - મોકલેલ અને પ્રાપ્ત. સરળ પરિવર્તન દ્વારા પણ આપણે મેળવીએ છીએ

મ્યુચ્યુઅલ એન્ટ્રોપી મિલકત ધરાવે છે માહિતીની સંપૂર્ણતા- તેમાંથી તમે વિચારણા હેઠળની તમામ માત્રા મેળવી શકો છો.