શરતી એન્ટ્રોપી એ આશ્રિત પ્રણાલીઓનું જોડાણ છે. શરતી એન્ટ્રોપી

કેમેરા કેલિબ્રેશનના કાર્યો અને પદ્ધતિઓ

કેમેરા કેલિબ્રેશનમાં કેમેરાના આંતરિક ઓરિએન્ટેશન તત્વોના મૂલ્યો અને ઓપ્ટિકલ સિસ્ટમની પદ્ધતિસરની ભૂલો નક્કી કરવામાં આવે છે, જે મુખ્યત્વે લેન્સ વિકૃતિને કારણે થાય છે.

આંતરિક અભિગમ તત્વો છે ફોકલ લંબાઈ (f) અને મુખ્ય બિંદુના કોઓર્ડિનેટ્સ ( x o, y o).

વિશ્વાસુ ગુણ ધરાવતા કેમેરા માટે, તેમના કોઓર્ડિનેટ્સ પણ નક્કી કરવામાં આવે છે.

પદ્ધતિસરની ભૂલોઓપ્ટિકલ સિસ્ટમ વાસ્તવિક વચ્ચેનો તફાવત નક્કી કરે છે ભૌતિક સિસ્ટમતેણી પાસેથી ગાણિતિક મોડેલ. લેન્સ વિકૃતિ કેન્દ્રીય ડિઝાઇનની ભૂમિતિને અસર કરે છે, અને પરિણામે, કોલિનિયરિટીનો સિદ્ધાંત પૂરો થતો નથી (તેનું ઉલ્લંઘન થાય છે. કેન્દ્રીય પ્રક્ષેપણછબીઓ)

લેન્સ વિકૃતિના બે પ્રકાર છે: રેડિયલ અને ટેન્જેન્શિયલ. રેડિયલ વિકૃતિ સ્પર્શક વિકૃતિ કરતાં ઘણી મોટી છે, તેથી, નિયમ તરીકે, ફક્ત રેડિયલ વિકૃતિ નક્કી કરવામાં આવે છે. વ્યવહારમાં, ફોટોગ્રામેટ્રિક માપન માટે ખાસ બનાવેલા કેમેરામાં ખૂબ જ ઓછી વિકૃતિ સાથે લેન્સ હોય છે, તેથી કેલિબ્રેશન પ્રક્રિયા દરમિયાન તે માત્ર મુખ્ય બિંદુની ફોકલ લંબાઈ અને કોઓર્ડિનેટ્સ નક્કી કરવા માટે પૂરતું છે. આધુનિક ડિજિટલ કેમેરા માટે, મુખ્ય સમસ્યાછે ઓછી ગુણવત્તાલેન્સ ઉત્પાદન, મોટા વિકૃતિ સાથે સંકળાયેલ (100 µm અથવા વધુ સુધી પહોંચી શકે છે) અને બિન-કેન્દ્રીકરણ વ્યક્તિગત ઘટકોલેન્સ, જે ઇમેજ પ્લેનમાં મુખ્ય ઓપ્ટિકલ બીમની બિન-લંબતા તરફ દોરી જાય છે. તેથી, આવા કેમેરાને માપાંકિત કરતી વખતે, માત્ર રેડિયલ વિકૃતિ જ નહીં, પણ ઓપ્ટિકલ સિસ્ટમ (બિન-કેન્દ્રિત અથવા સ્પર્શેન્દ્રિય લેન્સ વિકૃતિ) ની વિક્ષેપ પણ નક્કી કરવાની સલાહ આપવામાં આવે છે.

લેન્સ વિકૃતિ વર્ણવી શકાય છે વિવિધ સમીકરણો, ઉદાહરણ તરીકે:

જ્યાં d x, d y- લેન્સ વિકૃતિ માટે ઇમેજ પોઈન્ટના કોઓર્ડિનેટમાં સુધારાઓ; x,y- ઇમેજ પોઈન્ટના કોઓર્ડિનેટ્સ; k 1, k 2, k 3- રેડિયલ વિકૃતિ ગુણાંક; પૃષ્ઠ 1, પૃષ્ઠ 2- બિન-કેન્દ્રિત લેન્સ વિકૃતિના ગુણાંક; આર 0 – ત્રિજ્યા વેક્ટર, શૂન્ય વિકૃતિને અનુરૂપ; આર- મુખ્ય બિંદુથી અંતર x o, y o:

કૅમેરાને માપાંકિત કરવા માટે ત્રણ પદ્ધતિઓ છે:

· મલ્ટિ-કેલિબ્રેટર કેલિબ્રેટરનો ઉપયોગ કરીને માપાંકન

· ટેસ્ટ ઑબ્જેક્ટનો ઉપયોગ કરીને માપાંકન.

· સ્વ-કેલિબ્રેશન.

મલ્ટિ-કેલિબ્રેટરનો ઉપયોગ કરીને કેલિબ્રેશન એક વિશિષ્ટ ઉપકરણ પર કરવામાં આવે છે જે તમને કેમેરાના આંતરિક અભિગમના ઘટકોને નિર્ધારિત કરવાની મંજૂરી આપે છે. પ્રયોગશાળા શરતો. મોંઘા સાધનોની જરૂરિયાતને કારણે હવે આ પદ્ધતિનો ભાગ્યે જ ઉપયોગ થાય છે.

પરીક્ષણ ઑબ્જેક્ટનો ઉપયોગ કરીને માપાંકન એ પરીક્ષણ ઑબ્જેક્ટની છબીઓમાં બિંદુઓના કોઓર્ડિનેટ્સને માપવાના પરિણામોના આધારે કેલિબ્રેશન પરિમાણોની ગણતરી પર આધારિત છે. ટેસ્ટ ઑબ્જેક્ટ એ જાણીતા કોઓર્ડિનેટ્સ સાથે ઘણા બધા બિંદુઓ સાથે એક વિશિષ્ટ ઑબ્જેક્ટ છે.

સ્વ-કેલિબ્રેશન એ કૅમેરા કેલિબ્રેશન પદ્ધતિ છે જે તમને વાસ્તવિક-જીવનની છબીઓ પર કરવામાં આવતી ફોટો ત્રિકોણ પ્રક્રિયા દરમિયાન કેલિબ્રેશન પરિમાણોને નિર્ધારિત કરવાની મંજૂરી આપે છે.

ચાલો આપણે સૌથી વધુ ઉપયોગમાં લેવાતી છેલ્લી બે પદ્ધતિઓને વધુ વિગતવાર ધ્યાનમાં લઈએ.

અવકાશી પરીક્ષણ ઑબ્જેક્ટનો ઉપયોગ કરીને કૅમેરાનું માપાંકન

આ પદ્ધતિ ટેસ્ટ ઑબ્જેક્ટના ફોટોગ્રાફ પર આધારિત છે. આકૃતિ 8.1 અવકાશી આકૃતિના સ્વરૂપમાં એક ઉદાહરણ બતાવે છે જેના પર બિંદુઓ ચિહ્નિત થયેલ છે. આ બિંદુઓના કોઓર્ડિનેટ્સ જીઓડેટિક પદ્ધતિઓમાંથી એક દ્વારા જરૂરી ચોકસાઈ સાથે નક્કી કરવામાં આવે છે.

ફિગ.8.1

અભ્યાસ હેઠળ કૅમેરા વડે આ ઑબ્જેક્ટને શૂટ કર્યા પછી, વિસ્તૃત સમીકરણ સમીકરણોના આધારે એક રિસેક્શન ઉકેલવામાં આવે છે:

(8.3)

જ્યાં dx,dy- (8.1) અથવા (8.2) નો ઉપયોગ કરીને ગણતરી કરેલ લેન્સ વિકૃતિ માટે ઇમેજ પોઈન્ટના કોઓર્ડિનેટ્સમાં સુધારા. સમીકરણોમાં અજ્ઞાત (8.3) આંતરિક તત્વો છે f, x o, y o, અને બાહ્ય અભિગમ X S, Y S, Z S, w, a, kઅને વિકૃતિ ગુણાંક k 1,k 2,k 3, p 1, p 2. તેમને નક્કી કરવા માટે, આ સમીકરણો ઇમેજ પોઈન્ટના માપેલા કોઓર્ડિનેટ્સનો ઉપયોગ કરીને સંકલિત કરવામાં આવે છે x,yઅને સંકલન X,Y,Zપરીક્ષણ ઑબ્જેક્ટના અનુરૂપ બિંદુઓ પદ્ધતિનો ઉપયોગ કરીને સમસ્યા હલ થાય છે ઓછામાં ઓછા ચોરસ, અનુગામી અંદાજની પદ્ધતિ દ્વારા.

કેમેરા માટે કે જે વિડિયો સિગ્નલને માં કન્વર્ટ કરે છે ડિજિટલ સ્વરૂપ, સમીકરણોમાં ગુણાંક ઉમેરવાની ભલામણ કરવામાં આવે છે (8.3) સંલગ્ન રૂપાંતર a 1અને a 2,તે છે:

(8.4)

સમીકરણો (8.3) અને (8.4) પર આધારિત કેમેરા કેલિબ્રેશન સમસ્યાને યોગ્ય રીતે અને વિશ્વસનીય રીતે ઉકેલવા માટે મહાન મૂલ્યપરીક્ષણ ઑબ્જેક્ટ (પરિમાણો, બિંદુઓની સંખ્યા અને તેમના કોઓર્ડિનેટ્સની ચોકસાઈ) અને તેને શૂટ કરવાની પદ્ધતિ છે. શૂટિંગ એવી રીતે હાથ ધરવામાં આવવું જોઈએ કે ઑબ્જેક્ટ બિંદુઓ છબીના સમગ્ર વિસ્તારને આવરી લે છે (ફિગ. 8.5)

ટેસ્ટ ઑબ્જેક્ટના પરિમાણો કૅલિબ્રેટ કરવાના કૅમેરાના પ્રકાર પર આધાર રાખે છે, એટલે કે. શ્રેષ્ઠ અંતર પર આધાર રાખે છે વાય એસશૂટિંગ કે જેના માટે આ કેમેરાનો હેતુ છે. જો આ અંતર અને કેમેરાની કેન્દ્રીય લંબાઈ લગભગ જાણીતી હોય, તો પરીક્ષણ ઑબ્જેક્ટના પરિમાણોની ગણતરી ફિગમાંથી કરી શકાય છે. 8.5. પરીક્ષણ તરીકે, તમે બિલ્ડિંગના રવેશનો ઉપયોગ કરી શકો છો, જેના પર સપોર્ટ પોઈન્ટ મોટી ઘનતા સાથે ચિહ્નિત થયેલ છે. પોઈન્ટના વિતરણની વાત કરીએ તો, તેઓ પ્લેનમાં સમગ્ર વિસ્તાર પર સમાનરૂપે મૂકવા જોઈએ, પ્લેનની સમાંતરછબી (જેથી લેન્સ વિકૃતિ ગુણાંકના વિશ્વસનીય નિર્ધારણ માટે સમગ્ર છબીને બિંદુઓથી આવરી લેવામાં આવે છે) અને લંબ દિશા(ઊંડાણમાં) કેમેરાની ફોકલ લંબાઈ નક્કી કરવા માટે.

ફિગ માં. આકૃતિ 8.6 પરીક્ષણ પદાર્થોના ઉદાહરણો બતાવે છે.

જો ટેસ્ટ ઑબ્જેક્ટના સંદર્ભ બિંદુઓ સમાન પ્લેનમાં હોય, તો પછી કેન્દ્રીય લંબાઈના સહસંબંધને કારણે fઅંતર સાથે વાય એસજ્યારે રિસેક્શન ઉકેલવાથી ઉકેલમાં અનિશ્ચિતતા થાય છે. આ પરિસ્થિતિ ફિગ દ્વારા સચિત્ર છે. 8.7.

ફિગ.8.8

દેખીતી રીતે, ઑબ્જેક્ટનું ત્રીજું પરિમાણ મોટું ( h), ખાસ કરીને વિશ્વસનીય ઉકેલ. થી પ્રાયોગિક સંશોધનતે ઓળખાય છે કે સંબંધ કલાક/વાય એસ 1/5 કરતા ઓછું ન હોવું જોઈએ.

ટેસ્ટ ઑબ્જેક્ટ બિંદુઓના કોઓર્ડિનેટ્સની ચોકસાઈ કે જેની સાથે તેઓ નક્કી કરવા જોઈએ તે એક સરળ સૂત્રનો ઉપયોગ કરીને ગણતરી કરી શકાય છે:

જ્યાં ડી x - ચોકસાઈ કે જેની સાથે માપાંકન પરિમાણો નક્કી કરવા આવશ્યક છે. ચાલો માની લઈએ કે d x=0.001mm, કેમેરાની ફોકલ લંબાઈ લગભગ બરાબર છે f=100mm, શૂટિંગ દૂરથી કરવામાં આવશે વાય એસ=30m, પછી ડી એક્સ= 0.1 મીમી

શરતી એન્ટ્રોપી

એન્ટ્રોપી (માહિતીલક્ષી)- માહિતીની અરાજકતાનું માપ, પ્રાથમિક મૂળાક્ષરના કોઈપણ પ્રતીકના દેખાવની અનિશ્ચિતતા. માહિતીની ખોટની ગેરહાજરીમાં, તે પ્રસારિત સંદેશના પ્રતીક દીઠ માહિતીના જથ્થાના આંકડાકીય રીતે સમાન છે.

ઉદાહરણ તરીકે, અક્ષરોના ક્રમમાં જે રશિયનમાં વાક્ય બનાવે છે, વિવિધ અક્ષરોવિવિધ આવર્તન સાથે દેખાય છે, તેથી ઘટનાની અનિશ્ચિતતા કેટલાક અક્ષરો માટે અન્ય કરતા ઓછી હોય છે. જો આપણે ધ્યાનમાં લઈએ કે અક્ષરોના કેટલાક સંયોજનો (આ કિસ્સામાં આપણે એન્ટ્રોપી વિશે વાત કરીએ છીએ n-મો ક્રમ, જુઓ) ખૂબ જ દુર્લભ છે, પછી અનિશ્ચિતતા વધુ ઓછી થાય છે.

માહિતી એન્ટ્રોપીની વિભાવનાને સમજાવવા માટે, તમે થર્મોડાયનેમિક એન્ટ્રોપીના ક્ષેત્રના ઉદાહરણનો પણ આશરો લઈ શકો છો, જેને મેક્સવેલનો રાક્ષસ કહેવાય છે. માહિતી અને એન્ટ્રોપીની વિભાવનાઓ એકબીજા સાથે ઊંડા જોડાણ ધરાવે છે, પરંતુ આ હોવા છતાં, સિદ્ધાંતોનો વિકાસ આંકડાકીય મિકેનિક્સઅને માહિતી સિદ્ધાંતને એકબીજા સાથે સુસંગત બનાવવામાં ઘણા વર્ષો લાગ્યા.

ઔપચારિક વ્યાખ્યાઓ

માહિતી એન્ટ્રોપીસ્વતંત્ર રેન્ડમ ઘટનાઓ માટે xસાથે n શક્ય શરતો(1 થી n) ની ગણતરી સૂત્રનો ઉપયોગ કરીને કરવામાં આવે છે:

આ જથ્થાને પણ કહેવામાં આવે છે સરેરાશ સંદેશ એન્ટ્રોપી. જથ્થો કહેવાય છે ખાનગી એન્ટ્રોપી, માત્ર લાક્ષણિકતા i-ઇ રાજ્ય.

આમ, ઘટનાની એન્ટ્રોપી xસાથે સરવાળો છે વિરોધી ચિહ્નબધા કામો સંબંધિત ફ્રીક્વન્સીઝઘટનાની ઘટના i, તેમના પોતાના દ્વિસંગી લઘુગણક દ્વારા ગુણાકાર (આધાર 2 ફક્ત બાઈનરી સ્વરૂપમાં પ્રસ્તુત માહિતી સાથે કામ કરવાની સુવિધા માટે પસંદ કરવામાં આવ્યો હતો). સ્વતંત્ર રેન્ડમ ઘટનાઓ માટેની આ વ્યાખ્યાને સંભાવના વિતરણ કાર્ય સુધી વિસ્તૃત કરી શકાય છે.

સામાન્ય રીતે b-એરી એન્ટ્રોપી(જ્યાં bબરાબર 2, 3, ...) મૂળ મૂળાક્ષરો સાથે સ્ત્રોત અને સ્વતંત્ર વિતરણસંભાવનાઓ જ્યાં પી iસંભાવના છે a i (પી i = પી(a i) ) સૂત્ર દ્વારા નક્કી કરવામાં આવે છે:

શેનોન એન્ટ્રોપીની વ્યાખ્યા થર્મોડાયનેમિક એન્ટ્રોપીની વિભાવના સાથે સંબંધિત છે. બોલ્ટ્ઝમેન અને ગિબ્સે કર્યું મહાન કામદ્વારા આંકડાકીય થર્મોડાયનેમિક્સ, જેણે માં "એન્ટ્રોપી" શબ્દ અપનાવવામાં ફાળો આપ્યો માહિતી સિદ્ધાંત. થર્મોડાયનેમિક અને માહિતી એન્ટ્રોપી વચ્ચે જોડાણ છે. ઉદાહરણ તરીકે, મેક્સવેલનો રાક્ષસ પણ વિરોધાભાસી છે થર્મોડાયનેમિક એન્ટ્રોપીમાહિતી, અને કોઈપણ માત્રામાં માહિતી મેળવવી એ ખોવાયેલી એન્ટ્રોપી સમાન છે.

વૈકલ્પિક વ્યાખ્યા

એન્ટ્રોપી ફંક્શનને વ્યાખ્યાયિત કરવાની બીજી રીત છે એચતેનો પુરાવો છે એચજો અને માત્ર જો એચશરતો સંતોષે છે:

ગુણધર્મો

એ યાદ રાખવું અગત્યનું છે કે એન્ટ્રોપી એ સંદર્ભમાં વ્યાખ્યાયિત થયેલ જથ્થો છે સંભવિત મોડેલડેટા સ્ત્રોત માટે. ઉદાહરણ તરીકે, સિક્કો ફેંકવામાં એન્ટ્રોપી − 2(0.5log 2 0.5) = 1 બીટ પ્રતિ ટૉસ હોય છે (ધારો કે તે સ્વતંત્ર છે). એક સ્ત્રોત કે જે ફક્ત "A" અક્ષરો ધરાવતી સ્ટ્રિંગ જનરેટ કરે છે તેમાં શૂન્ય એન્ટ્રોપી છે: . તેથી, ઉદાહરણ તરીકે, તે એન્ટ્રોપીને પ્રાયોગિક રીતે સ્થાપિત કરી શકાય છે અંગ્રેજી લખાણઅક્ષર દીઠ 1.5 બિટ્સ બરાબર છે, જે અલબત્ત અલગ-અલગ ગ્રંથો માટે બદલાશે. ડેટા સ્ત્રોતની એન્ટ્રોપીની ડિગ્રીનો અર્થ છે શ્રેષ્ઠ એન્કોડિંગ સાથે માહિતીની ખોટ વિના તેને એન્ક્રિપ્ટ કરવા માટે જરૂરી ડેટા ઘટક દીઠ બિટ્સની સરેરાશ સંખ્યા.

1. કેટલાક ડેટા બિટ્સ માહિતી વહન કરી શકતા નથી. દા.ત.
2. એન્ટ્રોપીની માત્રા હંમેશા બિટ્સની પૂર્ણાંક સંખ્યા તરીકે દર્શાવવામાં આવતી નથી.

ગાણિતિક ગુણધર્મો

કાર્યક્ષમતા

વ્યવહારમાં મળેલા મૂળ મૂળાક્ષરોમાં સંભવિત વિતરણ છે જે શ્રેષ્ઠથી દૂર છે. જો મૂળ મૂળાક્ષરો હોય nઅક્ષરો, પછી તેની તુલના "ઓપ્ટિમાઇઝ મૂળાક્ષરો" સાથે કરી શકાય છે જેની સંભાવના વિતરણ સમાન છે. મૂળ અને ઑપ્ટિમાઇઝ મૂળાક્ષરોનો એન્ટ્રોપી રેશિયો એ મૂળ મૂળાક્ષરોની કાર્યક્ષમતા છે, જેને ટકાવારી તરીકે દર્શાવી શકાય છે.

તે આનાથી અનુસરે છે કે મૂળ મૂળાક્ષરોની અસરકારકતા સાથે nપ્રતીકોને તેના સમાન તરીકે વ્યાખ્યાયિત કરી શકાય છે n-એરી એન્ટ્રોપી.

એન્ટ્રોપી મહત્તમ શક્ય લોસલેસ (અથવા લગભગ લોસલેસ) કમ્પ્રેશનને મર્યાદિત કરે છે જે સૈદ્ધાંતિક રીતે લાક્ષણિક સમૂહ અથવા વ્યવહારમાં, હફમેન કોડિંગ, લેમ્પેલ-ઝિવ-વેલ્ચ કોડિંગ અથવા અંકગણિત કોડિંગનો ઉપયોગ કરીને અનુભવી શકાય છે.

ભિન્નતા અને સામાન્યીકરણ

શરતી એન્ટ્રોપી

જો મૂળાક્ષરોના અક્ષરોનો ક્રમ સ્વતંત્ર નથી (ઉદાહરણ તરીકે, માં ફ્રેન્ચઅક્ષર "q" લગભગ હંમેશા "u" દ્વારા અનુસરવામાં આવે છે, અને શબ્દ "અદ્યતન" માં સોવિયત અખબારોસામાન્ય રીતે શબ્દ "ઉત્પાદન" અથવા "શ્રમ" દ્વારા અનુસરવામાં આવે છે, આવા પ્રતીકોના ક્રમ (અને તેથી એન્ટ્રોપી) દ્વારા વહન કરવામાં આવતી માહિતીનો જથ્થો દેખીતી રીતે ઓછો છે. આવા તથ્યોને ધ્યાનમાં લેવા માટે, શરતી એન્ટ્રોપીનો ઉપયોગ કરવામાં આવે છે.

ફર્સ્ટ-ઓર્ડર કન્ડીશનલ એન્ટ્રોપી (પ્રથમ-ક્રમ માર્કોવ મોડલની જેમ) એ મૂળાક્ષરો માટેની એન્ટ્રોપી છે જ્યાં એક પછી બીજા અક્ષરની સંભાવનાઓ જાણીતી છે (એટલે ​​​​કે, બે-અક્ષરોના સંયોજનોની સંભાવનાઓ):

જ્યાં iપૂર્વવર્તી પાત્ર પર આધારિત રાજ્ય છે, અને પી i (j) - આ સંભાવના છે j, જો કે iઅગાઉનું પાત્ર હતું.

તેથી, "" અક્ષર વિના રશિયન ભાષા માટે.

ઘોંઘાટીયા ચેનલમાં ડેટા ટ્રાન્સમિશન દરમિયાન માહિતીની ખોટ આંશિક અને સામાન્ય શરતી એન્ટ્રોપીઝ દ્વારા સંપૂર્ણપણે વર્ણવવામાં આવે છે. આ હેતુ માટે, કહેવાતા ચેનલ મેટ્રિસિસ. તેથી, સ્ત્રોતના ભાગ પરના નુકસાનનું વર્ણન કરવા માટે (એટલે ​​​​કે, મોકલેલ સંકેત જાણીતો છે), રીસીવર દ્વારા પ્રતીક પ્રાપ્ત કરવાની શરતી સંભાવના ગણવામાં આવે છે. b jજો કે પાત્ર મોકલવામાં આવ્યું હતું a i. આ કિસ્સામાં, ચેનલ મેટ્રિક્સનું નીચેનું સ્વરૂપ છે:

દેખીતી રીતે, કર્ણ સાથે સ્થિત સંભાવનાઓ યોગ્ય સ્વાગતની સંભાવનાનું વર્ણન કરે છે, અને કૉલમના તમામ ઘટકોનો સરવાળો પ્રાપ્તકર્તાની બાજુ પર દેખાતા અનુરૂપ પ્રતીકની સંભાવના આપશે - પી(b j) . પ્રસારિત સિગ્નલ દીઠ નુકસાન a i, આંશિક શરતી એન્ટ્રોપી દ્વારા વર્ણવવામાં આવે છે:

તમામ સિગ્નલોના ટ્રાન્સમિશન નુકસાનની ગણતરી કરવા માટે, સામાન્ય શરતી એન્ટ્રોપીનો ઉપયોગ થાય છે:

તેનો અર્થ સ્ત્રોત બાજુ પર એન્ટ્રોપી છે; રીસીવર બાજુ પરની એન્ટ્રોપી સમાન રીતે ગણવામાં આવે છે: દરેક જગ્યાએ તે સૂચવવામાં આવે છે (લાઇનના ઘટકોનો સારાંશ દ્વારા તમે મેળવી શકો છો પી(a i) , અને વિકર્ણ તત્વોનો અર્થ એ સંભાવના છે કે જે ચોક્કસ પાત્ર પ્રાપ્ત થયું હતું તે મોકલવામાં આવ્યું હતું, એટલે કે, સાચા ટ્રાન્સમિશનની સંભાવના).

મ્યુચ્યુઅલ એન્ટ્રોપી

મ્યુચ્યુઅલ એન્ટ્રોપી, અથવા યુનિયન એન્ટ્રોપી, ઇન્ટરકનેક્ટેડ સિસ્ટમ્સની એન્ટ્રોપીની ગણતરી કરવા માટે બનાવાયેલ છે (આંકડાકીય રીતે આશ્રિત સંદેશાઓની સંયુક્ત ઘટનાની એન્ટ્રોપી) અને તે સૂચવવામાં આવે છે એચ(એબી), ક્યાં એ, હંમેશની જેમ, ટ્રાન્સમીટરની લાક્ષણિકતા, અને બી- રીસીવર.

પ્રસારિત અને પ્રાપ્ત સંકેતો વચ્ચેનો સંબંધ સંભાવનાઓ દ્વારા વર્ણવવામાં આવે છે સંયુક્ત ઘટનાઓ પી(a i b j) , અને માટે સંપૂર્ણ વર્ણનચેનલ લાક્ષણિકતાઓ, માત્ર એક મેટ્રિક્સ જરૂરી છે:

વધુ માટે સામાન્ય કેસ, જ્યારે તે કોઈ ચેનલ નથી જેનું વર્ણન કરવામાં આવી રહ્યું છે, પરંતુ ફક્ત ક્રિયાપ્રતિક્રિયા કરતી સિસ્ટમો છે, ત્યારે મેટ્રિક્સ ચોરસ હોવું જરૂરી નથી. દેખીતી રીતે, સંખ્યા સાથે કૉલમના તમામ ઘટકોનો સરવાળો jઆપશે પી(b j) , રેખા નંબરનો સરવાળો iછે પી(a i) , અને તમામ મેટ્રિક્સ તત્વોનો સરવાળો 1 ની બરાબર છે. સંયુક્ત સંભાવના પી(a i b j) ઘટનાઓ a iઅને b jમૂળ અને શરતી સંભાવનાના ઉત્પાદન તરીકે ગણવામાં આવે છે,

બેયસના સૂત્રનો ઉપયોગ કરીને શરતી સંભાવનાઓ ઉત્પન્ન થાય છે. આમ, સ્ત્રોત અને રીસીવરની એન્ટ્રોપીઝની ગણતરી કરવા માટેનો તમામ ડેટા છે:

મ્યુચ્યુઅલ એન્ટ્રોપીની ગણતરી મેટ્રિક્સની તમામ સંભાવનાઓને પંક્તિઓ (અથવા કૉલમ્સ) પર અનુક્રમે સરવાળો કરીને, તેમના લઘુગણક દ્વારા ગુણાકાર કરીને કરવામાં આવે છે:

માપનનું એકમ બીટ/બે પ્રતીકો છે, આ હકીકત દ્વારા સમજાવવામાં આવે છે કે મ્યુચ્યુઅલ એન્ટ્રોપી પ્રતીકોની જોડી દીઠ અનિશ્ચિતતાનું વર્ણન કરે છે - મોકલેલ અને પ્રાપ્ત. સરળ પરિવર્તન દ્વારા પણ આપણે મેળવીએ છીએ

મ્યુચ્યુઅલ એન્ટ્રોપી મિલકત ધરાવે છે માહિતીની સંપૂર્ણતા- તેમાંથી તમે વિચારણા હેઠળની તમામ માત્રા મેળવી શકો છો.

રેન્ડમ ચલની એન્ટ્રોપી અને માહિતીના જથ્થાની ગણતરી કરવા માટે શેનોનના સૂત્ર (3.3)ને ધ્યાનમાં લેતા, અમે ધારીએ છીએ કે રેન્ડમ ચલ (X) વિશેની માહિતી સીધી નિરીક્ષક પાસે આવે છે. જો કે, એક નિયમ તરીકે, અમને રુચિ ધરાવતા રેન્ડમ ચલ (X) વિશે નહીં, પરંતુ અન્ય કોઈ (Y) વિશેની માહિતી પ્રાપ્ત થાય છે, જે સ્ટોકેસ્ટિક રીતે X સાથે સંબંધિત છે. રેન્ડમ ચલોનું આવું જોડાણ કાર્યાત્મક જોડાણથી અલગ પડે છે, જેમાં એક મૂલ્યનું દરેક મૂલ્ય બીજા મૂલ્યના એક, સારી રીતે વ્યાખ્યાયિત મૂલ્યને અનુરૂપ હોય છે. બે રેન્ડમ વેરિયેબલ્સ X અને Y વચ્ચેના સ્ટોકેસ્ટિક (સંભવિત) જોડાણનો અર્થ એ છે કે તેમાંના એકમાં ફેરફાર બીજાના મૂલ્યને અસર કરે છે, પરંતુ એવી રીતે કે X નું મૂલ્ય જાણીને તે મૂલ્યને ચોક્કસ રીતે દર્શાવવું અશક્ય છે કે જે મૂલ્ય Y લેશે. તમે ફક્ત Y મૂલ્યમાં ફેરફારનું વલણ સૂચવી શકો છો.

ચાલો બી - રેન્ડમ ઘટના; p(B) - તેની ઘટનાની સંભાવના; ચાલો X દ્વારા રેન્ડમ વેરીએબલ દર્શાવીએ જે N લે છે વિવિધ અર્થો(x 1 , x 2 , … x N ), અને A k દ્વારા ઘટના એ હકીકતમાં સમાવિષ્ટ છે કે રેન્ડમ ચલ X એ x k મૂલ્ય લેશે:

A k = ( X = x k ), k = 1,2, …N ;

અમે ઘટના A k ની સંભાવના p(A k) દ્વારા દર્શાવીએ છીએ. કેટલીક ઘટનાઓ બનવાની સંભાવના અન્ય કોઈ ઘટના બને છે કે નહીં તેના આધારે બદલાઈ શકે છે. ઘટના A k ની સંભાવના p B (A k), ઘટના B આવી છે તેવી ધારણા હેઠળ ગણવામાં આવે છે, તેને ઘટના A k ની શરતી સંભાવના કહેવામાં આવે છે, આ કિસ્સામાં:

ઘટનાઓ A k અને B ને સ્વતંત્ર કહેવામાં આવે છે જો ઘટના A k ની સંભાવના ઘટના B બની છે કે નહીં તેના પર નિર્ભર નથી આનો અર્થ એ છે કે ઘટના p B (A k) ની શરતી સંભાવના "સામાન્ય" ની બરાબર છે. સંભાવના p(A k).

વ્યાખ્યા. શરત B હેઠળ રેન્ડમ ચલ X ની શરતી એન્ટ્રોપી એ જથ્થો છે

(4.2)

શેનોનના સૂત્ર (3.3) થી તફાવત એ છે કે p(A k) સંભાવનાઓને બદલે, શરતી સંભાવનાઓ p B (A k) નો ઉપયોગ થાય છે.

ચાલો હવે Y ને અન્ય રેન્ડમ વેરીએબલ લેતી કિંમતો (y 1 , y 2 , ... y M ) બનવા દો. ચાલો B j દ્વારા રેન્ડમ ચલ Y ની કિંમત y j પર લે છે તે ઘટનાને સૂચિત કરીએ:

B j = ( Y = y j ), j = 1, 2, … M.

અમે ઘટના B j ની સંભાવના p(B j) દ્વારા દર્શાવીએ છીએ.

વ્યાખ્યા. પર રેન્ડમ ચલ X ની શરતી એન્ટ્રોપી મૂલ્ય સેટ કરોરેન્ડમ ચલ Y એ H Y (X) જથ્થો છે

(4.3)

ચાલો ફોર્મ્યુલાનું પરિવર્તન કરીએ (4.3):

ફોર્મ્યુલા (4.3) ફોર્મ લે છે:

(4.4)

ચાલો રેન્ડમ ચલ Y નું અવલોકન કરીને મેળવેલ રેન્ડમ ચલ X વિશેની માહિતીના જથ્થાની ગણતરી કરીએ. માહિતીનો આ જથ્થો I(X,Y) રેન્ડમ વેરીએબલ Y નું અવલોકન કરતી વખતે રેન્ડમ ચલ X ની એન્ટ્રોપીમાં થયેલા ઘટાડા સમાન છે:

ચાલો H(X) અને H Y (X) ના સમીકરણોને (15) માં બદલીએ:

પ્રથમ રકમમાં આપણે p(A k)=p(A k B 1)+ p(A k B 2)+ p(A k B 3)…+ p(A k B M) ને બદલીએ છીએ. આ સમાનતા ખરેખર થાય છે, કારણ કે ઘટનાઓ A k B 1 , A k B 2 , … A k B M એ જોડી પ્રમાણે અસંગત છે, અને જો A k થાય તો તેમાંથી એક થશે. તેનાથી વિપરીત, જો B j માંથી એક થાય છે, તો A k પણ થાય છે. પરિવર્તન ચાલુ રાખીને, અમને મળે છે:

તેથી, અન્ય રેન્ડમ ચલ Y નું અવલોકન કરતી વખતે અમારી પાસે રેન્ડમ ચલ X વિશેની માહિતીની માત્રાની ગણતરી કરવા માટેનું સૂત્ર છે:

(4.6)

જો અવ્યવસ્થિત ચલો (અથવા ઘટનાઓ) સ્વતંત્ર હોય, તો તેમના માટે સંબંધ p(A k B j) = p(A k)p(B j) ધરાવે છે - બે ઘટનાઓની સંયુક્ત ઘટનાની સંભાવના તેના ગુણાંક જેટલી છે. આ ઘટનાઓની સંભાવનાઓ.

મૂલ્ય I(X,Y) ના સંદર્ભમાં, નીચેના વિધાન સાચા છે.

સ્વતંત્ર રેન્ડમ ચલો માટે આપણે મેળવીએ છીએ

આનો અર્થ એ છે કે રેન્ડમ વેરીએબલ Y નું અવલોકન કરવાથી રેન્ડમ ચલ X વિશે માહિતી મેળવવામાં કોઈ ફાયદો થશે નહીં.

અન્ય કિસ્સાઓમાં, I(X,Y) >0, અને નીચેની અસમાનતા ધરાવે છે:

જો કાર્યાત્મક જોડાણ Y=F(X) હોય તો સમાનતા પ્રાપ્ત થાય છે. આ કિસ્સામાં, Y અવલોકન આપે છે સંપૂર્ણ માહિતી X વિશે. જો Y=X, તો I(X,X) = H(X).

જથ્થો I(X,Y) સપ્રમાણ છે: I(X,Y) = I(Y,X). આનો અર્થ એ છે કે રેન્ડમ ચલ Y નું અવલોકન રેન્ડમ ચલ X વિશે તેટલી જ માહિતી પ્રદાન કરે છે જેટલું રેન્ડમ ચલ Xનું અવલોકન રેન્ડમ ચલ Y સંબંધિત પ્રદાન કરે છે. જો આપણે બે રેન્ડમ ચલોને ધ્યાનમાં લઈએ જે સ્ટોકેસ્ટિક અવલંબનમાં છે, તો પછી માહિતી સિદ્ધાંત દ્વારા તે સ્થાપિત કરવું અશક્ય છે કે કયું કારણ છે અને કયું અસર.

પહેલેથી જ નોંધ્યું છે તેમ, માહિતીના અસરકારક એન્કોડિંગ માટે સંદેશાઓની આંકડાકીય અવલંબનને ધ્યાનમાં લેવી જરૂરી છે. અમારું તાત્કાલિક ધ્યેય આશ્રિત સંદેશાઓના ક્રમની માહિતી લાક્ષણિકતાઓની ગણતરી કેવી રીતે કરવી તે શીખવાનું છે. ચાલો બે સંદેશાઓથી શરૂઆત કરીએ.

ચાલો ensembles ધ્યાનમાં લઈએ એક્સ= {x i) અને વાય={y જે) અને તેમનું કાર્ય XY={(x i,y જે), પી(x i,y જે)). કોઈપણ નિશ્ચિત માટે y જેÎ વાયબાંધી શકાય છે શરતી વિતરણસંભાવનાઓ પી(x i/y જે) સેટ પર એક્સઅને દરેક માટે x iÎ એક્સતમારી પોતાની માહિતીની ગણતરી કરો

જે કહેવાય છે શરતી પોતાની માહિતીસંદેશાઓ x iનિયત પર y જે.

અગાઉ આપણે એન્સેમ્બલની એન્ટ્રોપી તરીકે ઓળખાતા હતા એક્સસરેરાશ સંદેશ માહિતી x iÎ એક્સ. એ જ રીતે, શરતી માહિતીની સરેરાશ આઈ(x i/y જે) દ્વારા x iÎ એક્સ, અમને મૂલ્ય મળે છે

,

શરતી એન્ટ્રોપી કહેવાય છે એક્સનિયત પર y જેÎ વાય. નોંધ કરો કે માં આ વ્યાખ્યાજ્યારે અનિશ્ચિતતા છે પી(x i/y જે)=0. એ નોંધવું જોઈએ કે ફોર્મની અભિવ્યક્તિ zલોગ zખાતે શૂન્ય તરફ વલણ ધરાવે છે z® 0 અને તેના આધારે આપણે અક્ષરોને અનુરૂપ એન્ટ્રોપી શરતો ગણીએ છીએ x iસંભાવના સાથે પી(x i/y જે)=0, શૂન્યની બરાબર.

નવી રજૂ કરાયેલ એન્ટ્રોપી એચ(એક્સ/y જે) એ રેન્ડમ ચલ છે કારણ કે તે રેન્ડમ ચલ પર આધાર રાખે છે y જે. સંભવિત જોડાણોની જોડીની બિન-રેન્ડમ માહિતી મેળવવા માટે, તમામ મૂલ્યોની સરેરાશ કામગીરી કરવી જરૂરી છે. y જે.તીવ્રતા

કહેવાય છે શરતી એન્ટ્રોપીજોડાણ એક્સનિશ્ચિત જોડાણ સાથે વાય. ચાલો શરતી એન્ટ્રોપીના સંખ્યાબંધ ગુણધર્મોની નોંધ લઈએ.

2. , અને સમાનતા થાય છે જો અને માત્ર જો ensembles એક્સઅને વાયસ્વતંત્ર

5. તદુપરાંત, સમાનતા થાય છે જો અને માત્ર જો ensembles એક્સઅને વાયબધા માટે શરતી રીતે સ્વતંત્ર zО Z.

ચાલો ચર્ચા કરીએ" ભૌતિક અર્થ» શરતી એન્ટ્રોપીના ઘડવામાં આવેલા ગુણધર્મો. પ્રોપર્ટી 2 જણાવે છે કે જોડાણની શરતી એન્ટ્રોપી તેની બિનશરતી એન્ટ્રોપી કરતાં વધી જતી નથી. મિલકત 5 આ નિવેદનને મજબૂત બનાવે છે. તે આનાથી અનુસરે છે કે શરતોની વધતી સંખ્યા સાથે શરતી એન્ટ્રોપી વધતી નથી. આ બંને હકીકતો આશ્ચર્યજનક નથી તે હકીકતને પ્રતિબિંબિત કરે છે વધારાની માહિતીજોડાણ વિશે એક્સ, અન્ય જોડાણોના સંદેશામાં સમાયેલ છે, સરેરાશ,એસેમ્બલની માહિતી સામગ્રી (અનિશ્ચિતતા) ઘટાડે છે એક્સ. નોંધ " સરેરાશ"અહીં ખૂબ જ મહત્વપૂર્ણ છે, કારણ કે અસમાનતા H( એક્સ/y જે) ≤ H( એક્સ), સામાન્ય રીતે કહીએ તો, સાચું નથી.

ગુણધર્મો 1 - 5 અસમાનતા સૂચવે છે

, (11.4)

જેમાં સમાનતા ફક્ત જોડાણોની સંયુક્ત સ્વતંત્રતાના કિસ્સામાં જ શક્ય છે એક્સ 1 , …, એક્સ એન.

યાદ કરો કે એન્ટ્રોપીની ગણતરી કરવી એ સ્રોત અક્ષરોના પ્રસારણ અથવા સંગ્રહની કિંમતની ગણતરી છે. શરતી એન્ટ્રોપીના ગુણધર્મો સૂચવે છે કે જ્યારે અક્ષર પ્રસારિત થાય છે એક્સ એન+ 1 એ હકીકતનો ઉપયોગ કરવો જોઈએ કે અગાઉના અક્ષરો એક્સ 1 , …, એક્સ એનપ્રાપ્ત બાજુ પર પહેલેથી જ જાણીતા છે. આ તેના બદલે પરવાનગી આપશે એચ(એક્સ એન+1)બીટ ઓછો ખર્ચ કરો એચ(એક્સ એન +1 /એક્સ 1 ,…,એક્સ એન) બીટ. તે જ સમયે, અસમાનતા (11.4) આર્થિક કોડિંગ માટે એક અલગ અભિગમ સૂચવે છે. આ અસમાનતામાંથી તે અનુસરે છે કે એન્કોડિંગ પહેલાં અક્ષરોને બ્લોક્સમાં જોડવા જોઈએ અને આ બ્લોક્સને નવા "વિસ્તૃત" સ્ત્રોતના અક્ષરો તરીકે ગણવા જોઈએ. પત્રોના સ્વતંત્ર કોડિંગ કરતાં ખર્ચ ઓછો હશે. બેમાંથી કયો અભિગમ વધુ અસરકારક છે?

નીચે આપણે આ બે અભિગમોનું વધુ ચોક્કસ જથ્થાત્મક વર્ણન આપીશું, પરંતુ તે પહેલાં આપણે સંભાવના સિદ્ધાંતમાંથી કેટલીક વ્યાખ્યાઓ યાદ કરવાની જરૂર છે.

વધુ પ્રસ્તુતિ માટે અમને સંભાવના સિદ્ધાંતમાંથી કેટલીક જાણીતી માહિતીની જરૂર પડશે.

1) અવ્યવસ્થિત ઘટનાઓના જોડાણ માટે સંભાવનાઓના ગુણધર્મો એઅને IN:

P(A,B)=P(A)*P(B/A); -> P(B/A)=P(A,B)/P(B);

P(A,B)=P(B)*P(B/A); -> P(A/B)=P(A,B)/P(A);

P(A/B)=P(A)*P(B/A)/P(B);

P(B/A)=P(B)*P(A/B)/P(A); એઅને INજો

સ્વતંત્ર છે, તો પછી

P(A/B)=P(A); P(B/A)=P(B):

P(A,B)=P(A)*P(B);

ફરી એકવાર, અલગ સંદેશાના સ્ત્રોત માટે શેનોન એન્ટ્રોપીની વ્યાખ્યા:

તેના ગુણધર્મો: ;

H > 0mએન;

ax = લોગ એન સ્વતંત્ર સ્ત્રોતો સાથે;

H(A,B)=H(A)+H(B)

શરતી એન્ટ્રોપી જો સિસ્ટમ તત્વોની સ્થિતિઓ એકબીજા પર નિર્ભર ન હોય અથવા જો એક સિસ્ટમની સ્થિતિ બીજી સિસ્ટમની સ્થિતિ પર નિર્ભર ન હોય, તો અનિશ્ચિતતા કે સિસ્ટમના કેટલાક તત્વ (અથવા કેટલીક સિસ્ટમ) એકમાં હશે. સંભવિત સ્થિતિઓ સિસ્ટમના વ્યક્તિગત ઘટકોની સંભવિત લાક્ષણિકતાઓ દ્વારા સંપૂર્ણપણે નક્કી કરવામાં આવશે. આ કિસ્સામાંચોક્કસ રકમ

સિસ્ટમ તત્વની સ્થિતિ દીઠ માહિતી અથવા પ્રતિ સંદેશ પ્રતીકને સરેરાશ એન્ટ્રોપી કહેવામાં આવે છે, અને તેની ગણતરી કરતી વખતે, અભિવ્યક્તિનો ઉપયોગ થાય છે સંદેશ પ્રતીક દીઠ માહિતીની સરેરાશ રકમની ગણતરી કરતી વખતે, પરસ્પર નિર્ભરતાને ધ્યાનમાં લેવામાં આવે છે.

અન્યની તુલનામાં કેટલીક ઘટનાઓની ઘટનાની શરતી સંભાવનાઓ અને પરિણામી એન્ટ્રોપીને શરતી એન્ટ્રોપી કહેવામાં આવે છે b 1 , a 2 - b 2 ચાલો આપણે માહિતી ટ્રાન્સમિશન ચેનલ દ્વારા રેન્ડમ પ્રતીક A ના સ્ત્રોતમાંથી સંદેશાઓના પ્રસારણને ધ્યાનમાં લઈએ. આ કિસ્સામાં, એવું માનવામાં આવે છે કે 1 પ્રતીકને પ્રસારિત કરતી વખતે વિશ્વસનીય ટ્રાન્સમિશન સાથે આપણે મેળવીએ છીએ b 1 વગેરે આ કિસ્સામાં, દખલ સાથે ચેનલ માટે, ટ્રાન્સમિશન વિકૃત થાય છે, અને જ્યારે પ્રતીક પ્રાપ્ત થાય છે a 1 અમે ફક્ત પ્રતીકના પુનઃપ્રસારણની સંભાવના વિશે વાત કરી શકીએ છીએ a 2 , a 3 . તે સારી રીતે હોઈ શકે છે કે પાત્રો પ્રસારિત થયા હતા

વગેરે વિકૃતિઓ મેટ્રિક્સ દ્વારા વર્ણવવામાં આવે છેશરતી સંભાવનાઓ પી(એ/ બી)={ પી(a i / b i }.

ચેનલ

ચાલો અવાજ સાથે સંદેશાવ્યવહાર ચેનલ પર સંકેતો પ્રસારિત કરવાની પ્રક્રિયાને ધ્યાનમાં લઈએ અને શરતી એન્ટ્રોપીની ગણતરી કરવાની પદ્ધતિને સમજવા માટે તેનો ઉપયોગ કરીએ.

a જો સંદેશ સ્ત્રોત અક્ષરો ઉત્પન્ન કરે છે l 2 , એ i , ..., એ n

..., એ

તે મુજબ સંભાવનાઓ સાથે 1 p(a 2 ), p (a i ) ... ..., p (a n ),

), ..., p (a

b 1 અને ટ્રાન્સમિશન ચેનલના આઉટપુટ પર આપણે પ્રતીકો પ્રાપ્ત કરીએ છીએ 2 ,બી i , ..., બી n

..., બી

તે મુજબ સંભાવનાઓ સાથેb 1 p(b 2 ), પી ( i ), ..., પી (બીb n ),

, ..., પી ( પછી શરતી એન્ટ્રોપીનો ખ્યાલa i ) H (B/ a i , મોકલીને અનિશ્ચિતતા વ્યક્ત કરે છે b iઅમે મેળવીશું એચ., ખ્યાલ i ) (A/b b i અનિશ્ચિતતા જે પ્રાપ્ત કર્યા પછી રહે છે a iબરાબર શું મોકલવામાં આવ્યું હતું b j . આ ઉપરની આકૃતિમાં ગ્રાફિકલી રીતે દર્શાવવામાં આવ્યું છે. જો સંદેશાવ્યવહાર ચેનલમાં દખલગીરી હોય, તો પછી કોઈપણ સંકેતો સંભવિતતાના વિવિધ ડિગ્રી સાથે પ્રાપ્ત થઈ શકે છે. b jઅને, તેનાથી વિપરીત, પ્રાપ્ત સિગ્નલ a i . જો સંચાર ચેનલમાં કોઈ દખલ નથી, તો મોકલેલ પ્રતીક હંમેશા છે એ 1 સ્વીકૃત પાત્ર સાથે મેળ ખાય છે b 1 , એ 2 -બી 2 , ..., એ n -બી n .

આ કિસ્સામાં, સંદેશ સ્ત્રોત H(A) ની એન્ટ્રોપી સંદેશ પ્રાપ્તકર્તા H(B) ની એન્ટ્રોપી જેટલી છે.. જો સંચાર ચેનલમાં દખલગીરી હોય, તો તે પ્રસારિત માહિતીના ભાગને નષ્ટ અથવા વિકૃત કરે છે.

માહિતીના નુકસાનનું સંપૂર્ણ વર્ણન ખાનગી અને સામાન્ય શરતી એન્ટ્રોપી દ્વારા કરવામાં આવે છે. ચેનલ મેટ્રિસિસનો ઉપયોગ કરીને આંશિક અને સામાન્ય શરતી એન્ટ્રોપીની ગણતરી કરવી અનુકૂળ છે. "ચેનલ મેટ્રિક્સ" શબ્દનો અર્થ છે: એક મેટ્રિક્સ જે આંકડાકીય રીતે વર્ણવે છે આ ચેનલજોડાણ, સંક્ષિપ્તતા માટે વપરાય છે. જો સંદેશાવ્યવહાર ચેનલનું વર્ણન સંદેશ સ્ત્રોતની બાજુથી કરવામાં આવે છે (એટલે ​​​​કે મોકલેલ સિગ્નલ જાણીતું છે), તો સંભાવના કે જ્યારે સિગ્નલ પ્રસારિત થાય છે a i દખલ સાથે સંચાર ચેનલ દ્વારા અમને સિગ્નલ પ્રાપ્ત થશે b j શરતી સંભાવના તરીકે સૂચિત p(b j /AI).અને ચેનલ મેટ્રિક્સ ફોર્મ ધરાવે છે

સંભાવનાઓ કે જે વિકર્ણ (બોલ્ડમાં) સાથે સ્થિત છે તે યોગ્ય સ્વાગતની સંભાવનાઓ નક્કી કરે છે, બાકીની - ખોટી. ચેનલ મેટ્રિક્સના સ્તંભોને ભરતા અંકોના મૂલ્યો સામાન્ય રીતે મુખ્ય કર્ણથી અંતર સાથે ઘટે છે, અને દખલગીરીની સંપૂર્ણ ગેરહાજરીમાં, મુખ્ય કર્ણ પર સ્થિત અંકો સિવાયના તમામ શૂન્ય સમાન હોય છે.

પ્રતીક પસાર a iઆપેલ સંચાર ચેનલમાં સંદેશ સ્ત્રોતની બાજુથી ફોર્મની શરતી સંભાવનાઓના વિતરણ દ્વારા વર્ણવવામાં આવે છે p(b j /a i ), સંભાવનાઓનો સરવાળો હંમેશા એક સમાન હોવો જોઈએ. ઉદાહરણ તરીકે, સિગ્નલ માટે એ 1

સિગ્નલ શેર દીઠ માહિતીની ખોટ a iઆંશિક શરતી એન્ટ્રોપીનો ઉપયોગ કરીને વર્ણવેલ છે. ઉદાહરણ તરીકે, સિગ્નલ માટે a 1

સરવાળો અનુસાર હાથ ધરવામાં આવે છે જે,કારણ કે i-મું રાજ્ય (માં આ કિસ્સામાંપ્રથમ) સ્થિર રહે છે.

ટ્રાન્સમિશન નુકશાન બધા સંકેતોઆપેલ કોમ્યુનિકેશન ચેનલ પર સામાન્ય શરતી એન્ટ્રોપીનો ઉપયોગ કરીને વર્ણવવામાં આવે છે. તેની ગણતરી કરવા માટે, તમારે તમામ આંશિક શરતી એન્ટ્રોપીઓનો સરવાળો કરવો જોઈએ, એટલે કે, ઉપર એક ડબલ સમેશન કરવું iઅને દ્વારા j.

સંદેશ સ્ત્રોત પ્રતીકોની ઘટનાની અસમાન સંભાવનાના કિસ્સામાં, દરેક પ્રતીકના દેખાવની સંભાવના તેના દ્વારા અનુરૂપ આંશિક શરતી એન્ટ્રોપીનો ગુણાકાર કરીને ધ્યાનમાં લેવી જોઈએ. આ કિસ્સામાં, કુલ શરતી એન્ટ્રોપી

જો આપણે બહારથી પરિસ્થિતિ તપાસીએ સંદેશ પ્રાપ્તકર્તા(એટલે ​​કે જ્યારે પ્રાપ્ત સિગ્નલ જાણીતું છે), પછી પ્રતીકની રસીદ સાથે b jએવું માનવામાં આવે છે કે પ્રતીકોમાંથી એક મોકલવામાં આવ્યો હતો a 1 , a 2 , …, a i ,…, a m. આ કિસ્સામાં, ચેનલ મેટ્રિક્સનું ફોર્મ છે:

આ કિસ્સામાં, શરતી સંભાવનાઓનો સરવાળો પંક્તિઓમાં નહીં, પરંતુ ચેનલ મેટ્રિક્સના કૉલમમાં એક સમાન હોવો જોઈએ.

આંશિક શરતી એન્ટ્રોપી

અને કુલ શરતી એન્ટ્રોપી

સિસ્ટમની કુલ શરતી એન્ટ્રોપી B સિસ્ટમ A ને સંબંધિત સંદેશ સ્ત્રોતના કોઈપણ પ્રતીકમાં સમાવિષ્ટ માહિતીના જથ્થાને દર્શાવે છે જેના દ્વારા આપણે અભ્યાસ હેઠળની સિસ્ટમના તત્વોની સ્થિતિનું પ્રતિનિધિત્વ કરીએ છીએ.

સામાન્ય શરતી એન્ટ્રોપી તમામ પ્રતીકોની સરેરાશથી નક્કી કરવામાં આવે છે, એટલે કે, તમામ રાજ્યો પર એ iતેમાંના દરેકની ઘટનાની સંભાવનાને ધ્યાનમાં લેતા. તે સ્રોત પ્રતીકોના દેખાવની સંભાવનાના ઉત્પાદનોના સરવાળો અને સંબોધિતને પ્રતીકો પ્રાપ્ત કર્યા પછી રહેતી અનિશ્ચિતતાની સમાન છે:

જો સંચાર ચેનલમાં કોઈ દખલ ન હોય, તો મુખ્ય કર્ણ પર સ્થિત સિવાયના ચેનલ મેટ્રિક્સના તમામ ઘટકો શૂન્ય સમાન છે. આ સૂચવે છે કે સિગ્નલ ટ્રાન્સમિટ કરતી વખતે એ 1 અમે ચોક્કસપણે મેળવીશું b 1 ટ્રાન્સમિશન પર એ 2 - b 2 , ..., એ m - b m. સાચો સિગ્નલ મળવાની સંભાવના બની જશે બિનશરતી, અને શરતી એન્ટ્રોપી શૂન્ય હશે.

શરતી એન્ટ્રોપી તેના મહત્તમ સુધી પહોંચે છે જ્યારે, જ્યારે પ્રતીક પ્રસારિત થાય છે એ iકદાચ સાથે સમાન સંભાવનાકોઈપણ પ્રાપ્ત સંકેતો b 1 , b 2 , ..., b m .