મહત્તમ એન્ટ્રોપી મૂલ્ય. આપણા જીવનમાં એન્ટ્રોપી

માહિતી સિદ્ધાંત

માહિતી સિદ્ધાંતના મૂળમાં ક્લાઉડ શેનન છે, જેમણે 1947-48 માં સંચાર પ્રણાલીઓની કાર્યક્ષમતાના મુદ્દા પર કામ કર્યું હતું. પરિણામે, આ સિદ્ધાંતનું ધ્યેય ઘડવામાં આવ્યું હતું - સંચાર ચેનલની ક્ષમતા વધારવા માટે. અસરકારક સિસ્ટમ એવી છે જે અન્ય શરતો અને ખર્ચ સમાન હોવાથી વધુ માહિતી પ્રસારિત કરે છે. સામાન્ય રીતે, વિશ્લેષણ ઑબ્જેક્ટને ધ્યાનમાં લે છે: માહિતીનો સ્ત્રોત અને માહિતી ટ્રાન્સમિટ કરવા માટેની ચેનલ.

તેથી, ત્યાં કેટલીક ઘટનાઓ છે. તેમના વિશેની માહિતી સાંકેતિક સ્વરૂપમાં, સિગ્નલના રૂપમાં, સંચાર ચેનલ પર પ્રસારિત થાય છે. એવી દલીલ કરી શકાય છે કે ચેનલ સારી છે જો તે બે શરતો પૂરી કરે. સૌપ્રથમ, માહિતી તેના દ્વારા ઉચ્ચ ઝડપે પ્રસારિત થાય છે અને બીજું, ટ્રાન્સમિશનને અસર કરતી હસ્તક્ષેપ માહિતીની ગુણવત્તામાં થોડો ઘટાડો કરે છે. આવા સ્થાનાંતરણ માટેની શરતો શોધવા માટે, કેટલીક માહિતી લાક્ષણિકતાઓ દાખલ કરવી જરૂરી છે.

માહિતી સિદ્ધાંતના મૂળભૂત સિદ્ધાંતો એક અલગ સ્ત્રોત અને સમાન ચેનલ સાથે સૌથી વધુ સ્પષ્ટ રીતે પ્રગટ થાય છે. તેથી, અમે આ ધારણા સાથે વિષય સાથે અમારી ઓળખાણ શરૂ કરીશું.

1.1 માહિતીનું માત્રાત્મક માપ.

પ્રથમ, ચાલો આકૃતિ કરીએ કે ચેનલ પર પ્રસારિત કરવાનો અર્થ શું છે.

જો પ્રાપ્તકર્તા જાણે છે કે કઈ માહિતી પ્રસારિત કરવામાં આવશે, તો દેખીતી રીતે તેને પ્રસારિત કરવાની કોઈ જરૂર નથી. જે અણધાર્યું છે તે જ અભિવ્યક્ત કરવામાં અર્થપૂર્ણ છે. જેટલું મોટું આશ્ચર્ય, ધ વધુઆ ઘટનામાં માહિતી હોવી આવશ્યક છે. ઉદાહરણ તરીકે, તમે કમ્પ્યુટર પર કામ કરો છો. સંદેશ કે આજનું કામ 45 મિનિટમાં પૂર્ણ કરવું જોઈએ. શેડ્યૂલ અનુસાર તમારા માટે નવું હોવાની શક્યતા નથી. કામના અંતની જાહેરાત પહેલા જ આ એકદમ સ્પષ્ટ હતું. તેથી, આવા સંદેશમાં શૂન્ય માહિતી હોય છે; તેને પસાર કરવાનો કોઈ અર્થ નથી. અને હવે બીજું ઉદાહરણ. સંદેશ નીચે મુજબ છે: એક કલાકમાં, તમારા બોસ તમને મોસ્કો અને પાછા જવા માટે વિમાનની ટિકિટ આપશે, અને મનોરંજન માટે નાણાંની રકમ પણ ફાળવશે. આ પ્રકારની માહિતી તમારા માટે અણધારી છે અને તેથી, માપના એકમો મોટી સંખ્યામાં સમાવે છે. આ એવા પ્રકારના સંદેશાઓ છે જે ચેનલ દ્વારા અભિવ્યક્ત કરવા માટે અર્થપૂર્ણ છે. નિષ્કર્ષ ખૂબ જ સરળ છે: સંદેશમાં જેટલું વધુ આશ્ચર્ય છે, તેટલી વધુ માહિતી તેમાં છે.

આશ્ચર્ય એ સંભવિતતા દ્વારા વર્ગીકૃત થયેલ છે, જે માહિતી માપદંડમાં શામેલ છે.

થોડા વધુ ઉદાહરણો. અમારી પાસે બે બોક્સ છે, એક સફેદ દડા સાથે અને બીજું કાળા બોલ સાથે. સફેદ દડા ક્યાં છે તે સંદેશમાં કેટલી માહિતી સમાયેલી છે? આપેલ કોઈપણ બોક્સમાં સફેદ દડા હોય તેવી સંભાવના 0.5 છે. ચાલો આ સંભાવનાને અનુભવ સુધી કહીએ અથવા પ્રાથમિકતા .

હવે આપણે એક બોલ લઈએ છીએ. આપણે કયો દડો લીધો છે તેના પર ધ્યાન આપ્યા વિના, આવા પ્રયોગ પછી આપણને ચોક્કસ ખબર પડશે કે સફેદ દડા કયા બોક્સમાં છે. તેથી, માહિતીની સંભાવના 1 ની બરાબર હશે. આ સંભાવનાને પ્રાયોગિક અથવા પછી કહેવામાં આવે છે પશ્ચાદવર્તી .

ચાલો જોઈએ આ ઉદાહરણમાહિતીના જથ્થાના દૃષ્ટિકોણથી, અમારી પાસે માહિતીનો સ્ત્રોત છે - બોલ સાથેના બોક્સ. શરૂઆતમાં, બોલ વિશેની અનિશ્ચિતતા 0.5 ની સંભાવના દ્વારા દર્શાવવામાં આવી હતી. પછી સ્ત્રોત "બોલ્યો" અને માહિતી આપી; અમે બોલ ખેંચ્યો. આગળ, સંભાવના 1 સાથે બધું નક્કી થયું. માહિતીના માત્રાત્મક માપ તરીકે અનુભવના પરિણામે ઘટના વિશે અનિશ્ચિતતામાં ઘટાડો કરવાની ડિગ્રી લેવી તાર્કિક છે. અમારા ઉદાહરણમાં તે 1/0.5 હશે.

હવે ઉદાહરણ વધુ જટિલ છે. તે જાણીતું છે કે ભાગનું કદ 120,121,122, . . .,180 mm., એટલે કે, તેની પાસે 61 મૂલ્યોમાંથી એક છે. અગાઉની સંભાવના કે ભાગનું કદ i mm 1/61 છે.

અમારી પાસે ખૂબ જ અપૂર્ણ માપન સાધન છે જે અમને +5.-5 મીમીની ચોકસાઈ સાથે ભાગને માપવા દે છે. માપના પરિણામે, કદ 130 મીમી હતું. પરંતુ હકીકતમાં તે 125,126 હોઈ શકે છે. . .,135 મીમી; માત્ર 11 મૂલ્યો. પ્રયોગના પરિણામે, અનિશ્ચિતતા રહે છે, જે 1/11 ની પશ્ચાદવર્તી સંભાવના દ્વારા વર્ગીકૃત થયેલ છે. અનિશ્ચિતતા ઘટાડાની ડિગ્રી હશે (1/11):(1/61). ઉપર મુજબ, આ ગુણોત્તર માહિતીનો જથ્થો છે.

સૌથી અનુકૂળ લઘુગણક કાર્યમાહિતીની માત્રાને પ્રતિબિંબિત કરવા માટે. લઘુગણકનો આધાર બે છે. ચાલો માહિતીની માત્રા દર્શાવીએ
- પ્રાથમિક સંભાવના,
- પાછળની સંભાવના. પછી,

. (1)

પ્રથમ ઉદાહરણમાં
1 બીટ માહિતી; બીજામાં
માહિતીના 2.46 બિટ્સ. બીટ - માહિતીનું એક દ્વિસંગી એકમ .

હવે ચાલો માહિતીના વાસ્તવિક સ્ત્રોત તરફ વળીએ, જે એક સમૂહ છે સ્વતંત્ર ઘટનાઓ(સંદેશાઓ) વિવિધ પૂર્વ સંભાવનાઓ સાથે
. આ સમૂહ ઑબ્જેક્ટના પરિમાણો વિશેના ડેટાને રજૂ કરે છે અને તેના વિશે માહિતી છે. સામાન્ય રીતે, સ્ત્રોત દ્વારા સંદેશ જારી કર્યા પછી, તે વિશ્વસનીય રીતે જાણી શકાય છે કે કયું પરિમાણ જારી કરવામાં આવ્યું હતું. પાછળની સંભાવના 1 છે. દરેક ઘટનામાં સમાવિષ્ટ માહિતીની માત્રા સમાન હશે

. (2)

આ મૂલ્ય હંમેશા છે શૂન્ય કરતાં વધારે. ઘણી બધી ઘટનાઓ, ઘણી બધી માહિતી. સ્ત્રોતની લાક્ષણિકતા માટે આ સંપૂર્ણપણે અનુકૂળ નથી. તેથી, એન્ટ્રોપીનો ખ્યાલ રજૂ કરવામાં આવ્યો છે. એન્ટ્રોપી એ સ્ત્રોતની ઘટના (સંદેશ) દીઠ માહિતીની સરેરાશ રકમ છે . તે ગાણિતિક અપેક્ષા નક્કી કરવાના નિયમો અનુસાર જોવા મળે છે:

. (3)

અથવા લઘુગણક કાર્યના ગુણધર્મો આપેલ છે

. (4)

એન્ટ્રોપી ડાયમેન્શન બિટ્સ/સંદેશ. ચાલો એન્ટ્રોપીના ગુણધર્મો પર ધ્યાન આપીએ. ચાલો એક ઉદાહરણથી શરૂઆત કરીએ. ચાલો કહીએ કે ઘટનાઓની પ્રાથમિક સંભાવનાઓ સાથે માહિતીનો દ્વિસંગી સ્ત્રોત છે અને સંપૂર્ણ જૂથ બનાવે છે. આમાંથી તેમની વચ્ચેનું જોડાણ નીચે મુજબ છે:
. ચાલો સ્ત્રોતની એન્ટ્રોપી શોધીએ:

તે જોવું મુશ્કેલ નથી કે જો એક સંભાવના શૂન્યની બરાબર છે, તો બીજી 1 ની બરાબર છે, અને એન્ટ્રોપી અભિવ્યક્તિ શૂન્ય આપશે.

ચાલો એન્ટ્રોપીની અવલંબનનું કાવતરું કરીએ
(ફિગ. 1).

ચાલો એ હકીકત પર ધ્યાન આપીએ કે એન્ટ્રોપી 0.5 ની બરાબર સંભાવના પર મહત્તમ છે અને હંમેશા હકારાત્મક છે.

એન્ટ્રોપીની પ્રથમ મિલકત . સ્ત્રોતમાં સમાન સંભવિત ઘટનાઓ માટે એન્ટ્રોપી મહત્તમ છે. અમારા દ્વિસંગી સ્ત્રોત ઉદાહરણમાં, આ મૂલ્ય 1 છે. જો સ્ત્રોત દ્વિસંગી નથી અને સમાવે છે એન શબ્દો, પછી મહત્તમ એન્ટ્રોપી.

એન્ટ્રોપીની બીજી મિલકત. જો એક સ્ત્રોત સંદેશની સંભાવના 1 છે, અને અન્ય શૂન્ય છે, કારણ કે ઘટનાઓના સંપૂર્ણ જૂથની રચના થાય છે, તો એન્ટ્રોપી શૂન્ય છે. આવા સ્ત્રોત માહિતી પેદા કરતા નથી.

એન્ટ્રોપીની ત્રીજી મિલકત એ એન્ટ્રોપી ઉમેરણ પ્રમેય છે . ચાલો આ પ્રશ્નને વધુ વિગતવાર જોઈએ. ચાલો કહીએ કે સંદેશાઓના સમૂહ દ્વારા દર્શાવવામાં આવતી માહિતીના બે સ્ત્રોત છે અને .

દરેક સ્ત્રોતમાં એન્ટ્રોપી હોય છે
અને
. આગળ, આ સ્ત્રોતો જોડવામાં આવે છે, અને તે સંયુક્ત જોડાણની એન્ટ્રોપી શોધવા માટે જરૂરી છે.
. સંદેશાઓની દરેક જોડી અને સંભાવનાને અનુરૂપ છે
. આવી જોડીમાં માહિતીનો જથ્થો હશે

જાણીતી રીતે આગળ વધતાં, અમે એસેમ્બલ સંદેશાઓની જોડી દીઠ માહિતીની સરેરાશ માત્રા શોધીએ છીએ. આ એન્ટ્રોપી હશે. સાચું, અહીં બે કેસ હોઈ શકે છે. સંયુક્ત જોડાણો આંકડાકીય રીતે સ્વતંત્ર અને નિર્ભર હોઈ શકે છે.

સ્વતંત્ર જોડાણના પ્રથમ કેસ, સંદેશનો દેખાવ ધ્યાનમાં લો કોઈ રીતે વ્યાખ્યાયિત નથી . ચાલો એન્ટ્રોપી માટે અભિવ્યક્તિ લખીએ:

, (7)

અહીં
- જોડાણોમાં સંદેશાઓની સંખ્યા.

સ્વતંત્રતા સાથે દ્વિ-પરિમાણીય સંભાવના, એ, સામાન્ય અગાઉના સૂત્રમાંથી આપણે મેળવીએ છીએ

જ્યાં
અને
જાણીતા સૂત્રો દ્વારા નક્કી કરવામાં આવે છે.

આગળ આપણે વધુ જટિલ કેસ ધ્યાનમાં લઈશું. ચાલો ધારીએ કે સંદેશના જોડાણો આંકડાકીય સંબંધમાં છે, એટલે કે અમુક સંભાવના સાથે દેખાવ સૂચવે છે . આ હકીકત શરતી સંભાવના દ્વારા વર્ગીકૃત થયેલ છે
; નોટેશનમાં સ્લેશ સ્થિતિને દર્શાવે છે. શરતી સંભાવનાઓ રજૂ કરીને, દ્વિ-પરિમાણીય સંભાવનાને એક-પરિમાણીયના ઉત્પાદન દ્વારા વ્યાખ્યાયિત કરી શકાય છે:

આને ધ્યાનમાં રાખીને, ચાલો એન્ટ્રોપી માટે અભિવ્યક્તિ શોધીએ. રૂપાંતરણ આના જેવું થાય છે:

આપેલ છે કે તમામ ઘટના સંભાવનાઓનો સરવાળો 1 ની બરાબર છે, છેલ્લા અભિવ્યક્તિમાં પ્રથમ બેવડો સરવાળો સ્ત્રોત X, H(x) ની એન્ટ્રોપી આપે છે.

બીજા ડબલ સરવાળાને શરતી એન્ટ્રોપી કહેવામાં આવે છે અને તે તરીકે સૂચવવામાં આવે છે
. આમ,

તે જ રીતે તે સાબિત કરી શકાય છે.

છેલ્લા અભિવ્યક્તિઓમાં અમે શરતી એન્ટ્રોપીનો સામનો કર્યો, જે સંદેશાઓના સંયુક્ત જોડાણો વચ્ચેના જોડાણ દ્વારા નક્કી કરવામાં આવે છે. જો ensembles આંકડાકીય રીતે સ્વતંત્ર હોય
, અને શરતી એન્ટ્રોપી
. પરિણામે, આપણને જાણીતું સૂત્ર મળે છે.

જો સંદેશાઓ સંપૂર્ણપણે નિર્ભર છે, એટલે કે, તેઓ કાર્યાત્મક જોડાણમાં છે,
બેમાંથી એક મૂલ્ય લે છે: ક્યાં તો 1, ક્યારે
, અથવા 0 જ્યારે
. શરતી એન્ટ્રોપી 0 ની બરાબર હશે, કારણ કે સંદેશાઓના બીજા જોડાણમાં કોઈ આશ્ચર્ય નથી, અને તેથી તે માહિતી વહન કરતું નથી.

એન્ટ્રોપી અને તેના ગુણધર્મોને રજૂ કર્યા પછી, ચાલો માહિતીના એકમાત્ર સ્ત્રોત પર પાછા ફરીએ. તમારે જાણવું જોઈએ કે માહિતીનો કોઈપણ સ્ત્રોત વર્તમાન સમયમાં કામ કરે છે. તેના ચિહ્નો (ચિહ્નો) અનુક્રમમાં ચોક્કસ સ્થાન ધરાવે છે. માહિતીના સ્ત્રોતને સ્થિર કહેવામાં આવે છે જો પ્રતીકની સંભાવના અનુક્રમમાં તેના સ્થાન પર આધારિત ન હોય.અને એક વધુ વ્યાખ્યા. સ્ત્રોત પ્રતીકો એકબીજા સાથે આંકડાકીય (સંભવિત) સંબંધ ધરાવી શકે છે. માહિતીનો એર્ગોડિક સ્ત્રોત એ છે જેમાં ચિહ્નો વચ્ચેનો આંકડાકીય સંબંધ અગાઉના પ્રતીકોની મર્યાદિત સંખ્યા સુધી વિસ્તરે છે.જો આ જોડાણ ફક્ત બે પડોશી ચિહ્નોને આવરી લે છે, તો આવા સ્ત્રોતને ફક્ત કનેક્ટેડ માર્કોવ સાંકળ કહેવામાં આવે છે. આ તે સ્ત્રોત છે જે આપણે હવે ધ્યાનમાં લઈશું. સ્ત્રોત દ્વારા પ્રતીક જનરેશન સ્કીમ ફિગમાં બતાવવામાં આવી છે. 2.

પ્રતીક દેખાવ કયા પાત્ર પર આધાર રાખે છે અગાઉની ક્ષણે સ્ત્રોત દ્વારા આપવામાં આવ્યું હતું. આ અવલંબન સંભાવના દ્વારા નક્કી કરવામાં આવે છે
. ચાલો આવા સ્ત્રોતની એન્ટ્રોપી શોધીએ. અમે માહિતીની માત્રાની ગાણિતિક અપેક્ષા તરીકે એન્ટ્રોપીની સામાન્ય સમજણથી આગળ વધીશું. ચાલો કહીએ કે ફિગમાં બતાવ્યા પ્રમાણે બે અક્ષરો પ્રદર્શિત થાય છે. 2. આવી પરિસ્થિતિમાં માહિતીનો જથ્થો સ્ત્રોત દ્વારા આપવામાં આવે છે

તમામ સંભવિત અનુગામી પ્રતીકો પર આ રકમની સરેરાશ કરીને, અમે આંશિક એન્ટ્રોપી મેળવીએ છીએ, જો કે પહેલાનું પ્રતીક હંમેશા આપવામાં આવે. :

. (13)

ફરી એકવાર, આ આંશિક એન્ટ્રોપીની સરેરાશ અગાઉના અક્ષરો, અમને અંતિમ પરિણામ મળે છે:

એન્ટ્રોપી હોદ્દો માં અનુક્રમણિકા 2 સૂચવે છે કે આંકડાકીય સંબંધ ફક્ત બે સંલગ્ન પ્રતીકો સુધી વિસ્તરે છે.

ચાલો આપણે એર્ગોડિક સ્ત્રોતની એન્ટ્રોપીના ગુણધર્મો પર ધ્યાન આપીએ.

જ્યારે સ્ત્રોતમાં પ્રતીકો સ્વતંત્ર હોય છે
, સૂત્ર (14) ને સરળ બનાવીને સામાન્ય સ્વરૂપ (4) સુધી ઘટાડી દેવામાં આવ્યું છે.

સ્ત્રોત પ્રતીકો વચ્ચે આંકડાકીય (સંભવિત) જોડાણોની હાજરી હંમેશા એન્ટ્રોપીમાં ઘટાડો તરફ દોરી જાય છે,
.

તેથી, માહિતીના સ્ત્રોતમાં મહત્તમ એન્ટ્રોપી હોય છે જો બે શરતો પૂરી થાય: સ્ત્રોતના તમામ પ્રતીકો સમાન રીતે સંભવિત છે (એન્ટ્રોપી ગુણધર્મ) અને સ્ત્રોતના પ્રતીકો વચ્ચે કોઈ આંકડાકીય જોડાણો નથી.

સ્રોત પ્રતીકોનો ઉપયોગ કેટલી સારી રીતે થાય છે તે બતાવવા માટે, એક રીડન્ડન્સી પરિમાણ રજૂ કરવામાં આવે છે :

. (15)

તીવ્રતા 0 થી 1 ની રેન્જમાં છે.

આ પરિમાણ પ્રત્યેનું વલણ બે ગણું છે. એક તરફ, ઓછી નિરર્થકતા, સ્ત્રોત વધુ કાર્યક્ષમ રીતે કાર્ય કરે છે. બીજી તરફ, નિરર્થકતા જેટલી વધારે છે, તેટલી ઓછી દખલ અને અવાજ આવા સ્ત્રોતમાંથી ગ્રાહક સુધીની માહિતીના વિતરણને અસર કરે છે. ઉદાહરણ તરીકે, પ્રતીકો વચ્ચે આંકડાકીય સંબંધોની હાજરી નિરર્થકતામાં વધારો કરે છે, પરંતુ તે જ સમયે ટ્રાન્સમિશન વફાદારી વધે છે. વ્યક્તિગત ગુમ થયેલ અક્ષરોની આગાહી કરી શકાય છે અને પુનઃસ્થાપિત કરી શકાય છે.

ચાલો એક ઉદાહરણ જોઈએ. સ્ત્રોત રશિયન મૂળાક્ષરોના અક્ષરો છે, તેમાં કુલ 32 છે ચાલો આપણે મહત્તમ એન્ટ્રોપી નક્કી કરીએ:
બીટ/સંદેશ.

અક્ષરો વચ્ચે આંકડાકીય સંબંધ હોવાથી અને ટેક્સ્ટમાં તેમના દેખાવની સંભાવનાઓ એકસરખી નથી, વાસ્તવિક એન્ટ્રોપી 3 બિટ્સ/સંદેશની બરાબર છે. તેથી નિરર્થકતા
.

સ્ત્રોતની આગલી લાક્ષણિકતા કામગીરી છે; તે સ્ત્રોત દ્વારા માહિતી ઉત્પાદનની ઝડપને દર્શાવે છે. ચાલો ધારીએ કે સ્ત્રોતનો દરેક પત્ર ચોક્કસ સમયગાળા દરમિયાન જારી કરવામાં આવે છે . આ સમયની સરેરાશ કરીને, અમે એક સંદેશ જારી કરવા માટે સરેરાશ સમય શોધીએ છીએ . સમયના એકમ દીઠ સ્ત્રોત દ્વારા ઉત્પાદિત માહિતીની સરેરાશ માત્રા - સ્ત્રોત ઉત્પાદકતા
:

. (16)

તેથી, ચાલો સારાંશ આપીએ. માહિતીના એર્ગોડિક સ્ત્રોતની લાક્ષણિકતાઓ નીચે મુજબ છે:

દરેક ચિહ્નમાં માહિતીનો જથ્થો,

એન્ટ્રોપી

નિરર્થકતા

કામગીરી

તે નોંધવું જોઈએ કે મજબૂત બિંદુમાહિતીના જથ્થાનું પરિચયિત માપ અને, અલબત્ત, બધી લાક્ષણિકતાઓ સાર્વત્રિકતા છે. ઉપર રજૂ કરાયેલા તમામ ખ્યાલો કોઈપણ પ્રકારની માહિતીને લાગુ પડે છે: સમાજશાસ્ત્રીય, તકનીકી, વગેરે. માપની નબળી બાજુ એ છે કે તે માહિતીના મહત્વ, તેના મૂલ્યને પ્રતિબિંબિત કરતી નથી. પેન અને કાર લોટરી જીતવા વિશેની માહિતી પણ એટલી જ મહત્વપૂર્ણ છે.

1.2. ચેનલની માહિતી લાક્ષણિકતાઓ

ચાલો યાદ રાખો કે માહિતી સંચાર ચેનલ દ્વારા પ્રસારિત થાય છે. અમે અગાઉ માહિતી સ્ત્રોતની માહિતી લાક્ષણિકતાઓ રજૂ કરી હતી, અને હવે અમે ચેનલની માહિતી લાક્ષણિકતાઓ રજૂ કરીશું. ચાલો ફિગમાં બતાવ્યા પ્રમાણે પરિસ્થિતિની કલ્પના કરીએ. 1.

ચોખા. 1

ચેનલ ઇનપુટ પર એક ઇનપુટ મૂળાક્ષર છે જેમાં ઘણા અક્ષરો છે , અને આઉટપુટ પર - .

પી
ચાલો એક ગાણિતિક મોડેલ સાથે સંચાર ચેનલ રજૂ કરીએ. એક અલગ ચેનલનું સૌથી પ્રખ્યાત પ્રતિનિધિત્વ ગ્રાફના સ્વરૂપમાં છે. દ્વારા મેળવેલ ગ્રાફ નોડ્સ ( ) અને પ્રસારિત ( ) મૂળાક્ષરોના અક્ષરો; કિનારીઓ આ અક્ષરો વચ્ચેના સંભવિત જોડાણોને પ્રતિબિંબિત કરે છે (ફિગ. 2).

મૂળાક્ષરોના અક્ષરો વચ્ચેના સંબંધોનું મૂલ્યાંકન સામાન્ય રીતે શરતી સંભાવનાઓ દ્વારા કરવામાં આવે છે, ઉદાહરણ તરીકે,
સ્વીકૃતિની સંભાવના પૂરી પાડવામાં આવેલ છે કે તે સ્થાનાંતરિત છે . આ યોગ્ય સ્વાગતની સંભાવના છે. તે જ રીતે, કોઈ ભૂલભરેલી તકનીકોની શરતી સંભાવનાઓ રજૂ કરી શકે છે, ઉદાહરણ તરીકે,
. આ બિન-શૂન્ય સંભાવનાઓના દેખાવના કારણો દખલગીરી છે, જેમાંથી કોઈપણ વાસ્તવિક ચેનલો મુક્ત નથી. મહેરબાની કરીને નોંધ કરો કે n અને m, પ્રસારિત અને પ્રાપ્ત એરેમાં અક્ષરોની સંખ્યા (અક્ષરો) સમાન હોવી જરૂરી નથી. આ મોડેલના આધારે, વધુ વ્યાખ્યાઓ રજૂ કરવામાં આવી છે.

સપ્રમાણ ચેનલ - આ એક ચેનલ છે જેમાં તમામ પ્રતીકો માટે યોગ્ય સ્વાગતની તમામ સંભાવનાઓ સમાન છે, અને ભૂલભરેલા સ્વાગતની સંભાવના પણ સમાન છે. આવી ચેનલ માટે, શરતી સંભાવના નીચે પ્રમાણે લખી શકાય છે:

અહીં - ભૂલભરેલા સ્વાગતની સંભાવના. જો આ સંભાવના આપેલ પ્રતીક પહેલાં કયા અક્ષરો પ્રસારિત કરવામાં આવ્યા હતા તેના પર નિર્ભર નથી, તો આવી ચેનલને "કહેવાય છે. મેમરી વિના ચેનલ "ઉદાહરણ તરીકે, આકૃતિ 3 નીચે મેમરી વિના સપ્રમાણ દ્વિસંગી ચેનલનો ગ્રાફ બતાવે છે.

આર
છે. 3

ચાલો આપણે આગળ ધારીએ કે ચેનલના આઉટપુટ પરના મૂળાક્ષરોમાં એક વધારાનું પ્રતીક હોય છે, જે રીસીવર ડીકોડર ટ્રાન્સમિટેડ પ્રતીકને ઓળખી શકતું નથી ત્યારે દેખાય છે. આ કિસ્સામાં, તે નિર્ણય લેવાનો ઇનકાર વિકસાવે છે. આ સ્થિતિને ઇરેઝર કહેવામાં આવે છે. આ ચેનલ કહેવામાં આવે છે ભૂંસવા સાથે મેમરી વગરની ચેનલ અને તેનો ગ્રાફ ફિગમાં બતાવવામાં આવ્યો છે. 4. "ભૂંસી નાખવાની" સ્થિતિ અહીં પ્રશ્ન ચિહ્ન દ્વારા સૂચવવામાં આવી છે.

આર
છે. 4.

મેમરી સાથેની સૌથી સરળ ચેનલ છે માર્કોવ ચેનલ . તેમાં, ભૂલોની સંભાવનાઓ તેના પર આધાર રાખે છે કે અગાઉનું પ્રતીક યોગ્ય રીતે પ્રાપ્ત થયું હતું કે ભૂલથી.

સંદેશાવ્યવહાર ચેનલ માટેના ગ્રાફ સાથે, બીજું વર્ણન છે - ચેનલ મેટ્રિક્સ . આ શરતી સંભાવનાઓનો સમૂહ છે
અથવા
. પ્રાથમિક સંભાવનાઓ સાથે,
અને
તે આપે છે સંપૂર્ણ ચિત્રઘોંઘાટીયા ચેનલના આંકડા. ઉદાહરણ તરીકે, ચાલો ચેનલ મેટ્રિક્સ જોઈએ

.

માહિતી સિદ્ધાંતમાં આપણે જે સંદેશ સાથે વ્યવહાર કરીએ છીએ તે અમુક ભૌતિક સિસ્ટમ વિશેની માહિતીનો સંગ્રહ છે. ઉદાહરણ તરીકે, ખામીઓની સામાન્ય અથવા વધેલી ટકાવારી વિશેનો સંદેશ, વિશે રાસાયણિક રચનાકાચો માલ અથવા પકાવવાની નાની ભઠ્ઠી તાપમાન. ફંડ મેનેજમેન્ટ સિસ્ટમના ઇનપુટ માટે હવાઈ ​​સંરક્ષણએક સંદેશ પ્રસારિત કરી શકાય છે કે હવામાં બે લક્ષ્યો છે, ચોક્કસ ઊંચાઈએ, ચોક્કસ ઝડપે ઉડતા. એક સંદેશ એ જ ઇનપુટ પર પ્રસારિત કરી શકાય છે કે ચોક્કસ સંખ્યામાં લડવૈયાઓ હાલમાં ચોક્કસ એરફિલ્ડ પર લડાઇની તૈયારીમાં છે, અથવા એરફિલ્ડને દુશ્મનના ગોળીબારથી અક્ષમ કરવામાં આવ્યું છે, અથવા પ્રથમ લક્ષ્યને ઠાર કરવામાં આવ્યું છે, અને બીજું ચાલુ છે. સંશોધિત અભ્યાસક્રમ સાથે ઉડાન ભરવા માટે. આમાંના કોઈપણ સંદેશાઓ કેટલાકની સ્થિતિનું વર્ણન કરે છે ભૌતિક સિસ્ટમ.

દેખીતી રીતે, જો ભૌતિક સિસ્ટમની સ્થિતિ અગાઉથી જાણીતી હોત, તો સંદેશ પ્રસારિત કરવાનો કોઈ અર્થ હોતો નથી. સંદેશ ત્યારે જ અર્થપૂર્ણ બને છે જ્યારે સિસ્ટમની સ્થિતિ અગાઉથી અજાણ હોય, તક દ્વારા.

તેથી, એક ઑબ્જેક્ટ તરીકે કે જેના વિશે માહિતી પ્રસારિત થાય છે, અમે એક ચોક્કસ ભૌતિક સિસ્ટમને ધ્યાનમાં લઈશું જે અવ્યવસ્થિત રીતે એક રાજ્ય અથવા બીજામાં સમાપ્ત થઈ શકે છે, એટલે કે, એવી સિસ્ટમ કે જે સ્પષ્ટપણે અમુક અંશે અનિશ્ચિતતામાં સહજ છે. દેખીતી રીતે, સિસ્ટમ વિશે મેળવેલ માહિતી, સામાન્ય રીતે કહીએ તો, વધુ મૂલ્યવાન અને અર્થપૂર્ણ હશે, આ માહિતી પ્રાપ્ત કરતા પહેલા સિસ્ટમની અનિશ્ચિતતા વધારે હશે ("પ્રાયોરી"). એક કુદરતી પ્રશ્ન ઊભો થાય છે: અનિશ્ચિતતાની "મોટી" અથવા "નાની" ડિગ્રીનો અર્થ શું થાય છે અને તેને કેવી રીતે માપી શકાય?

આ પ્રશ્નનો જવાબ આપવા માટે, ચાલો બે સિસ્ટમ્સની તુલના કરીએ, જેમાંની દરેકમાં કેટલીક અનિશ્ચિતતા છે.

પ્રથમ સિસ્ટમ તરીકે, ચાલો એક સિક્કો લઈએ, જે ફેંકવાના પરિણામે, બે સ્થિતિમાંથી એકમાં સમાપ્ત થઈ શકે છે: 1) શસ્ત્રોનો કોટ આવ્યો અને 2) નંબર આવ્યો. બીજો ડાઇસ છે, જેમાં છ છે શક્ય રાજ્યો: 1, 2, 3, 4, 5 અને 6. પ્રશ્ન એ છે કે કઈ સિસ્ટમમાં વધુ અનિશ્ચિતતા છે? દેખીતી રીતે, બીજી, કારણ કે તેણી પાસે વધુ સંભવિત રાજ્યો છે, જેમાંના દરેકમાં તે સમાન સંભાવના સાથે સમાપ્ત થઈ શકે છે.

એવું લાગે છે કે અનિશ્ચિતતાની ડિગ્રી સિસ્ટમના સંભવિત રાજ્યોની સંખ્યા દ્વારા નક્કી કરવામાં આવે છે. જો કે, માં સામાન્ય કેસઆ ખોટું છે. ઉદાહરણ તરીકે, એક તકનીકી ઉપકરણને ધ્યાનમાં લો જે બે સ્થિતિમાં હોઈ શકે છે: 1) ઓપરેશનલ અને 2) ખામીયુક્ત. ચાલો આપણે માની લઈએ કે માહિતી (પ્રાયોરી) પ્રાપ્ત કરતા પહેલા, ઉપકરણની યોગ્ય કામગીરીની સંભાવના 0.99 છે, અને નિષ્ફળતાની સંભાવના 0.01 છે. આવી સિસ્ટમમાં અનિશ્ચિતતાની ખૂબ જ નાની માત્રા હોય છે: તે લગભગ નિશ્ચિત છે કે ઉપકરણ યોગ્ય રીતે કાર્ય કરશે. સિક્કો ફેંકતી વખતે, ત્યાં બે સંભવિત સ્થિતિઓ પણ છે, પરંતુ અનિશ્ચિતતાની ડિગ્રી ઘણી વધારે છે. આપણે જોઈએ છીએ કે ભૌતિક પ્રણાલીની અનિશ્ચિતતાની ડિગ્રી માત્ર તેના સંભવિત રાજ્યોની સંખ્યા દ્વારા જ નહીં, પણ રાજ્યોની સંભાવનાઓ દ્વારા પણ નક્કી કરવામાં આવે છે.

ચાલો સામાન્ય કેસ તરફ આગળ વધીએ. ચાલો અમુક સિસ્ટમને ધ્યાનમાં લઈએ જે અવસ્થાઓનો મર્યાદિત સમૂહ લઈ શકે: સંભાવનાઓ સાથે, જ્યાં

(18.2.1)

સિસ્ટમ રાજ્યને ધારણ કરશે તેવી સંભાવના (ચિહ્ન ઘટના સૂચવે છે: સિસ્ટમ રાજ્યમાં છે). દેખીતી રીતે, .

ચાલો આ ડેટાને કોષ્ટકના રૂપમાં લખીએ, જ્યાં ટોચની લાઇન સિસ્ટમની સંભવિત સ્થિતિઓની સૂચિ આપે છે, અને નીચેની લાઇન અનુરૂપ સંભાવનાઓને સૂચિબદ્ધ કરે છે:

આ કોષ્ટક અવ્યવસ્થિત વિતરણ શ્રેણીની જેમ જ લખાયેલું છે રેન્ડમ ચલસાથે શક્ય મૂલ્યો, સંભાવનાઓ છે. ખરેખર, ભૌતિક સિસ્ટમ અને વચ્ચે મર્યાદિત સમૂહઅવસ્થાઓ અને અવ્યવસ્થિત રેન્ડમ ચલમાં ઘણું સામ્ય છે; પ્રથમથી બીજામાં ઘટાડો કરવા માટે, દરેક રાજ્યને અમુક સંખ્યાત્મક મૂલ્ય (કહો, રાજ્ય નંબર) સોંપવા માટે તે પૂરતું છે. અમે ભારપૂર્વક કહીએ છીએ કે સિસ્ટમની અનિશ્ચિતતાની ડિગ્રીનું વર્ણન કરવા માટે, તે સંપૂર્ણપણે બિનમહત્વપૂર્ણ છે કે કોષ્ટકની ટોચની પંક્તિમાં કયા મૂલ્યો લખેલા છે; ફક્ત આ મૂલ્યોની સંખ્યા અને તેમની સંભાવનાઓ મહત્વપૂર્ણ છે.

સિસ્ટમની પ્રાથમિક અનિશ્ચિતતાના માપદંડ તરીકે (અથવા એક અવ્યવસ્થિત રેન્ડમ ચલ), માહિતી સિદ્ધાંત એન્ટ્રોપી નામની વિશિષ્ટ લાક્ષણિકતાનો ઉપયોગ કરે છે. માહિતી સિદ્ધાંતમાં એન્ટ્રોપીનો ખ્યાલ મૂળભૂત છે.

સિસ્ટમની એન્ટ્રોપી એ સંભાવનાઓના ઉત્પાદનોનો સરવાળો છે વિવિધ શરતોઆ સંભાવનાઓના લઘુગણક માટેની સિસ્ટમો, વિરુદ્ધ ચિહ્ન સાથે લેવામાં આવે છે:

. (18.2.2)

એન્ટ્રોપી, જેમ આપણે પછી જોઈશું, તેમાં સંખ્યાબંધ ગુણધર્મો છે જે તેની પસંદગીને અનિશ્ચિતતાની ડિગ્રીની લાક્ષણિકતા તરીકે યોગ્ય ઠેરવે છે. પ્રથમ, તે શૂન્ય પર જાય છે જ્યારે સિસ્ટમની એક સ્થિતિ વિશ્વસનીય હોય છે, પરંતુ અન્ય અશક્ય હોય છે. બીજું, આપેલ રાજ્યોની સંખ્યા માટે તે મહત્તમ સુધી પહોંચે છે જ્યારે આ રાજ્યો સમાન રીતે સંભવિત હોય છે, અને જ્યારે રાજ્યોની સંખ્યા વધે છે, ત્યારે તે વધે છે. છેવટે, અને આ સૌથી મહત્વની બાબત છે, તેમાં ઉમેરણની મિલકત છે, એટલે કે, જ્યારે ઘણી સ્વતંત્ર પ્રણાલીઓને એકમાં જોડવામાં આવે છે, ત્યારે તેમની એન્ટ્રોપીઝ ઉમેરાય છે.

સૂત્રમાં લઘુગણક (18.2.2) કોઈપણ આધાર સાથે લઈ શકાય છે. આધાર બદલવો એ એન્ટ્રોપીને માત્ર વડે ગુણાકાર કરવા સમાન છે સતત સંખ્યા, અને આધારની પસંદગી એન્ટ્રોપીના માપનના ચોક્કસ એકમની પસંદગીની સમકક્ષ છે. જો 10 નંબરને આધાર તરીકે પસંદ કરવામાં આવે, તો આપણે એન્ટ્રોપીના "દશાંશ એકમો" વિશે વાત કરીએ, જો 2 - "દ્વિસંગી એકમો" વિશે. વ્યવહારમાં, બેઝ 2 માં લઘુગણકનો ઉપયોગ કરવો અને દ્વિસંગી એકમોમાં એન્ટ્રોપી માપવાનું સૌથી અનુકૂળ છે; આ ઈલેક્ટ્રોનિક ડિજિટલમાં વપરાતા લોકો સાથે સારા કરારમાં છે કમ્પ્યુટર્સબાઈનરી નંબર સિસ્ટમ.

આગળ શું છે, જ્યાં સુધી અન્યથા જણાવવામાં ન આવે ત્યાં સુધી, અમે હંમેશા પ્રતીકને દ્વિસંગી લઘુગણક તરીકે સમજીશું.

પરિશિષ્ટ (કોષ્ટક 6) 1 થી 100 સુધીના પૂર્ણાંકોના દ્વિસંગી લઘુગણક આપે છે.

તે ચકાસવું સરળ છે કે લઘુગણકના આધાર તરીકે 2 પસંદ કરતી વખતે, એન્ટ્રોપીને એન્ટ્રોપી માપનના એકમ તરીકે લેવામાં આવે છે. સૌથી સરળ સિસ્ટમ, જેમાં બે સમાન સંભવિત સ્થિતિઓ છે:

ખરેખર, સૂત્ર (18.2.2) મુજબ અમારી પાસે છે:

.

આ રીતે વ્યાખ્યાયિત એન્ટ્રોપીના એકમને "દ્વિસંગી એકમ" કહેવામાં આવે છે અને કેટલીકવાર તેને બીટ તરીકે સૂચવવામાં આવે છે (અંગ્રેજી "દ્વિસંગી અંક"માંથી). આ એક અંકની એન્ટ્રોપી છે દ્વિસંગી સંખ્યા, જો તે શૂન્ય અથવા એક હોવાની સમાન સંભાવના છે.

ચાલો દ્વિસંગી એકમોમાં એવી સિસ્ટમની એન્ટ્રોપીને માપીએ કે જેમાં સમાન સંભવિત સ્થિતિઓ હોય:

એટલે કે, સમાન રીતે શક્ય રાજ્યો ધરાવતી સિસ્ટમની એન્ટ્રોપી રાજ્યોની સંખ્યાના લઘુગણક સમાન છે.

ઉદાહરણ તરીકે, આઠ રાજ્યો ધરાવતી સિસ્ટમ માટે .

ચાલો આપણે સાબિત કરીએ કે જ્યારે સિસ્ટમની સ્થિતિ અગાઉથી બરાબર જાણીતી હોય, ત્યારે તેની એન્ટ્રોપી શૂન્યની બરાબર છે. ખરેખર, આ કિસ્સામાં, સૂત્ર (18.2.2) માં તમામ સંભાવનાઓ અદૃશ્ય થઈ જાય છે, એક સિવાય - ઉદાહરણ તરીકે, જે એક સમાન છે. શબ્દ શૂન્ય પર જાય છે કારણ કે. બાકીની શરતો પણ અદૃશ્ય થઈ જાય છે, ત્યારથી

.

ચાલો આપણે સાબિત કરીએ કે રાજ્યોના મર્યાદિત સમૂહ સાથેની સિસ્ટમની એન્ટ્રોપી મહત્તમ સુધી પહોંચે છે જ્યારે તમામ રાજ્યો સમાન રીતે સંભવિત હોય. આ કરવા માટે, સિસ્ટમની એન્ટ્રોપી (18.2.2) ને સંભાવનાઓના કાર્ય તરીકે ધ્યાનમાં લો અને શોધો શરતી આત્યંતિકઆ કાર્ય પ્રદાન કરે છે:

પદ્ધતિનો ઉપયોગ કરીને અવ્યાખ્યાયિત ગુણકલેગ્રેન્જ, અમે ફંક્શનની સીમા શોધીશું:

. (18.2.5)

ડેરિવેટિવ્સને શૂન્યના સંદર્ભમાં અને સમીકરણ સાથે તફાવત (18.2.5), અમે સમીકરણોની સિસ્ટમ મેળવીએ છીએ:

, (18.2.6)

જેમાંથી તે સ્પષ્ટ છે કે અંતિમ (માં આ કિસ્સામાંમહત્તમ) ના સમાન મૂલ્યો પર પ્રાપ્ત થાય છે. સ્થિતિ (18.2.4) થી તે સ્પષ્ટ છે કે આ કિસ્સામાં

, (18.2.7)

અને સિસ્ટમની મહત્તમ એન્ટ્રોપી છે:

, (18.2.8)

એટલે કે મહત્તમ મૂલ્યસાથે સિસ્ટમની એન્ટ્રોપી મર્યાદિત સંખ્યારાજ્યો રાજ્યોની સંખ્યાના લઘુગણક સમાન છે અને જ્યારે તમામ રાજ્યો સમાન સંભવિત હોય ત્યારે પ્રાપ્ત થાય છે.

સૂત્ર (18.2.2) નો ઉપયોગ કરીને એન્ટ્રોપીની ગણતરીને કંઈક અંશે સરળ બનાવી શકાય છે જો કોઈ વિશેષ કાર્યને ધ્યાનમાં લેવામાં આવે તો:

, (18.2.9)

જ્યાં લઘુગણકને આધાર 2 પર લઈ જવામાં આવે છે.

ફોર્મ્યુલા (18.2.2) ફોર્મ લે છે:

. (18.2.10)

કાર્ય ટેબ્યુલેટેડ છે; પરિશિષ્ટ (કોષ્ટક 7) 0 થી 1 થી 0.01 સુધીના તેના મૂલ્યો દર્શાવે છે.

ઉદાહરણ 1. જેમાં ભાગ લેતા બે એરક્રાફ્ટ (એક ફાઇટર અને બોમ્બર) નો સમાવેશ કરતી ભૌતિક સિસ્ટમની એન્ટ્રોપી નક્કી કરો હવાઈ ​​લડાઇ. યુદ્ધના પરિણામે, સિસ્ટમ ચાર સંભવિત રાજ્યોમાંથી એકમાં સમાપ્ત થઈ શકે છે:

1) બંને વિમાનોને નીચે ઉતારવામાં આવ્યા નથી;

2) ફાઇટરને ઠાર મારવામાં આવ્યો છે, બોમ્બરને ઠાર મારવામાં આવ્યો નથી;

3) ફાઇટરને ઠાર મારવામાં આવ્યો ન હતો, બોમ્બરને ઠાર કરવામાં આવ્યો હતો;

4) બંને વિમાનોને નીચે ઉતારવામાં આવ્યા હતા.

આ રાજ્યોની સંભાવનાઓ અનુક્રમે 0.2 છે; 0.3; 0.4 અને 0.1.

ઉકેલ. અમે કોષ્ટકના રૂપમાં શરતો લખીએ છીએ:

આશ્રિત સંદેશાઓ સાથેના સ્ત્રોત માટે, એન્ટ્રોપીની પણ ગણતરી કરવામાં આવે છે ગાણિતિક અપેક્ષાઆ સંદેશાના તત્વ દીઠ માહિતીનો જથ્થો. માહિતી અને એન્ટ્રોપીનો જથ્થો લઘુગણક માપ છે અને તે જ એકમોમાં માપવામાં આવે છે.

6. માહિતીના સંયુક્ત આંકડાકીય રીતે સ્વતંત્ર સ્ત્રોતોની એન્ટ્રોપી તેમની એન્ટ્રોપીના સરવાળા જેટલી હોય છે. 7. એન્ટ્રોપી એ એસેમ્બલમાંથી એક રાજ્ય પસંદ કરવાની સરેરાશ અનિશ્ચિતતાને લાક્ષણિકતા આપે છે, દાગીનાની મૂળ બાજુને સંપૂર્ણપણે અવગણીને. ઇકોસિસ્ટમ એન્ટ્રોપી એ ઇકોસિસ્ટમના ડિસઓર્ડર અથવા ઉપયોગ માટે અનુપલબ્ધ ઊર્જાની માત્રાનું માપ છે. કેવી રીતે વધુ સૂચકએન્ટ્રોપી, ઇકોસિસ્ટમ સમય અને અવકાશમાં ઓછી સ્થિર છે.

4.1.2. એન્ટ્રોપી અને સ્વતંત્ર સંદેશ સ્ત્રોતની કામગીરી

આમાંના કોઈપણ સંદેશાઓ અમુક ભૌતિક સિસ્ટમની સ્થિતિનું વર્ણન કરે છે. આપણે જોઈએ છીએ કે ભૌતિક પ્રણાલીની અનિશ્ચિતતાની ડિગ્રી માત્ર તેના સંભવિત રાજ્યોની સંખ્યા દ્વારા જ નહીં, પણ રાજ્યોની સંભાવનાઓ દ્વારા પણ નક્કી કરવામાં આવે છે. સિસ્ટમની પ્રાથમિક અનિશ્ચિતતાના માપદંડ તરીકે (અથવા એક અવ્યવસ્થિત રેન્ડમ ચલ), માહિતી સિદ્ધાંત એન્ટ્રોપી નામની વિશિષ્ટ લાક્ષણિકતાનો ઉપયોગ કરે છે.

એન્ટ્રોપી, જેમ આપણે પછી જોઈશું, તેમાં સંખ્યાબંધ ગુણધર્મો છે જે તેની પસંદગીને અનિશ્ચિતતાની ડિગ્રીની લાક્ષણિકતા તરીકે યોગ્ય ઠેરવે છે. છેલ્લે, અને આ સૌથી મહત્વની બાબત છે, તેમાં ઉમેરણની મિલકત છે, એટલે કે જ્યારે અનેક સ્વતંત્ર સિસ્ટમોએકમાં ભેગા થાય છે, તેમની એન્ટ્રોપીઓ ઉમેરે છે. જો 10 નંબરને આધાર તરીકે પસંદ કરવામાં આવે, તો આપણે એન્ટ્રોપીના "દશાંશ એકમો" વિશે વાત કરીએ, જો 2 - "દ્વિસંગી એકમો" વિશે.

ચાલો આપણે સાબિત કરીએ કે રાજ્યોના મર્યાદિત સમૂહ સાથેની સિસ્ટમની એન્ટ્રોપી મહત્તમ સુધી પહોંચે છે જ્યારે તમામ રાજ્યો સમાન રીતે સંભવિત હોય. ઉદાહરણ 3. ત્રણ ઘટકો ધરાવતી સિસ્ટમની મહત્તમ સંભવિત એન્ટ્રોપી નક્કી કરો, જેમાંથી દરેક ચાર સંભવિત સ્થિતિમાં હોઈ શકે છે.

એ નોંધવું જોઇએ કે આ કિસ્સામાં મેળવેલ એન્ટ્રોપી મૂલ્ય સ્વતંત્ર સંદેશાના સ્ત્રોત કરતાં ઓછું હશે. આ એ હકીકતને અનુસરે છે કે સંદેશની અવલંબનની હાજરીમાં, પસંદગીની અનિશ્ચિતતા ઘટે છે અને તે મુજબ, એન્ટ્રોપી ઘટે છે. ચાલો બાઈનરી સ્ત્રોતની એન્ટ્રોપી નક્કી કરીએ. પરાધીનતાનો ગ્રાફ (4.4) ફિગમાં પ્રસ્તુત છે. 4.1. ગ્રાફ પરથી નીચે મુજબ, દ્વિસંગી સ્ત્રોતની એન્ટ્રોપી શૂન્યથી એકમાં બદલાય છે.

એન્ટ્રોપીના મૂળભૂત ગુણધર્મો

તે સામાન્ય રીતે નોંધ્યું છે કે એન્ટ્રોપી લાક્ષણિકતા ધરાવે છે આપેલ વિતરણપરીક્ષણના પરિણામની અનિશ્ચિતતાની ડિગ્રીના સંદર્ભમાં સંભાવનાઓ, એટલે કે ચોક્કસ સંદેશની પસંદગીની અનિશ્ચિતતા. ખરેખર, એ ચકાસવું સરળ છે કે એન્ટ્રોપી શૂન્ય છે જો અને માત્ર જો સંભાવનાઓમાંથી એક એક સમાન હોય અને અન્ય તમામ શૂન્ય સમાન હોય; આનો અર્થ છે પસંદગીની સંપૂર્ણ નિશ્ચિતતા.

એન્ટ્રોપીની વિભાવનાનું બીજું દ્રશ્ય અર્થઘટન સ્ત્રોત દ્વારા બનાવેલ સંદેશાઓની "વિવિધતા" ના માપ તરીકે શક્ય છે. એ જોવાનું સરળ છે કે એન્ટ્રોપીના ઉપરોક્ત ગુણધર્મો વિવિધતાના માપના સાહજિક વિચાર સાથે તદ્દન સુસંગત છે. એવું માનવું પણ સ્વાભાવિક છે કે આ તત્વને પસંદ કરવા માટેની શક્યતાઓ જેટલી વધુ વૈવિધ્યસભર છે, તેટલી વધુ માહિતીનો જથ્થો સંદેશ તત્વમાં સમાવિષ્ટ છે.

મી રાજ્યમાં સ્થિત સ્ત્રોત માટે પસંદ કરેલ તત્વમાં માહિતીની માત્રાની ગાણિતિક અપેક્ષા દર્શાવતી અભિવ્યક્તિને આ સ્થિતિની એન્ટ્રોપી કહી શકાય. ઉપર વ્યાખ્યાયિત કરેલ સંદેશ તત્વ દીઠ સ્ત્રોત એન્ટ્રોપી એ સંદેશાઓને તત્વોમાં કેવી રીતે વિભાજિત કરવામાં આવે છે તેના પર આધાર રાખે છે, એટલે કે, મૂળાક્ષરોની પસંદગી પર. જો કે, એન્ટ્રોપી ધરાવે છે મહત્વપૂર્ણ મિલકતઉમેરણ

ચાલો એન્ટ્રોપીના કેટલાક ગુણધર્મો નોંધીએ. એન્ટ્રોપી. ભૌતિકશાસ્ત્રના અભ્યાસક્રમમાં તમે અનુભવી શકો છો તે સમજવા માટે આ કદાચ સૌથી મુશ્કેલ વિભાવનાઓમાંની એક છે, ઓછામાં ઓછું જ્યારે તે શાસ્ત્રીય ભૌતિકશાસ્ત્રની વાત આવે છે.

ઉદાહરણ તરીકે, જો તમે મને પૂછો કે હું ક્યાં રહું છું, અને હું જવાબ આપું છું: રશિયામાં, તો પછી તમારા માટે મારી એન્ટ્રોપી વધુ હશે, છેવટે, રશિયા મોટો દેશ. જો હું તમને મારો પિન કોડ કહું: 603081, તો તમારા માટે મારી એન્ટ્રોપી ઘટશે કારણ કે તમને વધુ માહિતી પ્રાપ્ત થશે.

મારા વિશેના તમારા જ્ઞાનની એન્ટ્રોપીમાં અંદાજે 6 અક્ષરોનો ઘટાડો થયો છે. જો મેં તમને કહ્યું કે સરવાળો 59 છે તો શું? આ મેક્રોસ્ટેટ માટે માત્ર 10 સંભવિત માઇક્રોસ્ટેટ્સ છે, તેથી તેની એન્ટ્રોપી માત્ર એક પ્રતીક છે. જેમ તમે જોઈ શકો છો, વિવિધ મેક્રોસ્ટેટ્સમાં વિવિધ એન્ટ્રોપી હોય છે. અમે એન્ટ્રોપીને માઇક્રોસ્ટેટ્સની સંખ્યા લખવા માટે જરૂરી પ્રતીકોની સંખ્યા તરીકે માપીએ છીએ.

બીજા શબ્દોમાં કહીએ તો, એન્ટ્રોપી એ છે કે આપણે સિસ્ટમનું કેવી રીતે વર્ણન કરીએ છીએ. ઉદાહરણ તરીકે, જો આપણે ગેસને થોડો ગરમ કરીએ, તો તેના કણોની ગતિ વધશે, તેથી, આ ગતિ વિશેની આપણી અજ્ઞાનતાની ડિગ્રી વધશે, એટલે કે એન્ટ્રોપી વધશે. અથવા, જો આપણે પિસ્ટનને પાછું ખેંચીને ગેસનું પ્રમાણ વધારીએ, તો કણોની સ્થિતિ વિશેની આપણી અજ્ઞાનતા વધશે, અને એન્ટ્રોપી પણ વધશે.

એક તરફ, આ સૌથી વધુ વિશ્લેષણમાં એન્ટ્રોપીનો ઉપયોગ કરવાની શક્યતાઓને વિસ્તૃત કરે છે. વિવિધ અસાધારણ ઘટના, પરંતુ, બીજી બાજુ, ઉભરતી પરિસ્થિતિઓના ચોક્કસ વધારાના મૂલ્યાંકનની જરૂર છે. આ પ્રથમ છે, બ્રહ્માંડ એ સીમાઓ સાથેનો કોઈ સામાન્ય મર્યાદિત પદાર્થ નથી, તે સમય અને અવકાશમાં અનંત છે.

મહત્તમ કાર્ય - થર્મોડાયનેમિક્સમાં 1) થર્મલી ઇન્સ્યુલેટેડ સામગ્રી દ્વારા કરવામાં આવેલું કાર્ય. માહિતી સિદ્ધાંતમાં આપણે જે સંદેશ સાથે વ્યવહાર કરીએ છીએ તે અમુક ભૌતિક સિસ્ટમ વિશેની માહિતીનો સંગ્રહ છે. દેખીતી રીતે, જો ભૌતિક સિસ્ટમની સ્થિતિ અગાઉથી જાણીતી હોત, તો સંદેશ પ્રસારિત કરવાનો કોઈ અર્થ હોતો નથી.

દેખીતી રીતે, સિસ્ટમ વિશે મેળવેલ માહિતી, સામાન્ય રીતે કહીએ તો, વધુ મૂલ્યવાન અને અર્થપૂર્ણ હશે, આ માહિતી પ્રાપ્ત કરતા પહેલા સિસ્ટમની અનિશ્ચિતતા વધારે હશે ("પ્રાયોરી"). આ પ્રશ્નનો જવાબ આપવા માટે, ચાલો બે સિસ્ટમ્સની તુલના કરીએ, જેમાંની દરેકમાં કેટલીક અનિશ્ચિતતા છે.

જો કે, સામાન્ય રીતે આ કેસ નથી. ઉદાહરણ તરીકે, એક તકનીકી ઉપકરણને ધ્યાનમાં લો જે બે સ્થિતિમાં હોઈ શકે છે: 1) ઓપરેશનલ અને 2) ખામીયુક્ત. અમે ભારપૂર્વક કહીએ છીએ કે સિસ્ટમની અનિશ્ચિતતાની ડિગ્રીનું વર્ણન કરવા માટે, તે સંપૂર્ણપણે બિનમહત્વપૂર્ણ છે કે કોષ્ટકની ટોચની પંક્તિમાં કયા મૂલ્યો લખેલા છે; ફક્ત આ મૂલ્યોની સંખ્યા અને તેમની સંભાવનાઓ મહત્વપૂર્ણ છે. માહિતી સિદ્ધાંતમાં એન્ટ્રોપીનો ખ્યાલ મૂળભૂત છે.

આ માહિતીની માત્રાને એન્ટ્રોપી કહેવામાં આવે છે. ચાલો ધારીએ કે કેટલાક સંદેશામાં મૂળાક્ષરોના ઘટકો, તત્વો વગેરેનો સમાવેશ થાય છે. જથ્થાને સંદેશ સ્ત્રોતની એન્ટ્રોપી કહેવામાં આવે છે. 3. એન્ટ્રોપી મહત્તમ છે જો સંદેશ તત્વોની તમામ સ્થિતિઓ સમાન રીતે સંભવિત હોય. માહિતી સિદ્ધાંતમાં, તે સાબિત થયું છે કે હંમેશા, એટલે કે, સંભવિત જોડાણોની હાજરી સંદેશા સ્ત્રોતની એન્ટ્રોપી ઘટાડે છે.

ટેબલ પર સુઘડ પિરામિડમાં બોલને ગોઠવીને બિલિયર્ડ્સની રમત શરૂ થાય છે. પછી પ્રથમ ફટકો સંકેત સાથે મારવામાં આવે છે, જે પિરામિડને તોડે છે. આ બોલ ટેબલની આજુબાજુ વિચિત્ર માર્ગ સાથે ફરે છે, વારંવાર ટેબલની દિવાલો સાથે અને એકબીજા સાથે અથડાય છે અને અંતે કોઈક નવા સ્થાને થીજી જાય છે. કેટલાક કારણોસર, નવી વ્યવસ્થા હંમેશા ઓછી વ્યવસ્થિત હોય છે. શા માટે? તમે અવિરત પ્રયાસ કરી શકો છો. ટેબલ પરના દડાઓની સ્થિતિ દરેક વખતે બદલાશે, પરંતુ અમે ક્યારેય એ જ ઓર્ડર કરેલા પિરામિડ પર પહોંચીશું નહીં જે પ્રથમ હિટ પહેલાં ટેબલ પર હતું. સિસ્ટમ સ્વયંભૂ રીતે ઓછા ઓર્ડરવાળા રાજ્યોમાં જાય છે. ક્યારેય વધુ વ્યવસ્થિત રીતે નહીં. સિસ્ટમને સુવ્યવસ્થિત સ્થિતિમાં ખસેડવા માટે, બહારના હસ્તક્ષેપ જરૂરી છે. ખેલાડીઓમાંથી એક ત્રિકોણાકાર ફ્રેમ અને ફોર્મ લે છે નવો પિરામિડ. પ્રક્રિયા માટે ઊર્જાના રોકાણની જરૂર છે. એકબીજા સાથે અને દિવાલો સાથે અથડામણના પરિણામે બોલને સ્વયંભૂ રીતે પિરામિડમાં જોડવા માટે દબાણ કરવાનો કોઈ રસ્તો નથી.

બિલિયર્ડ ટેબલ પર વધતી અવ્યવસ્થાની પ્રક્રિયાને નિયંત્રિત કરવામાં આવતી નથી (જોકે તે થવા માટે ઊર્જાની જરૂર હોય છે), કારણ કે એક સારું બિલિયર્ડ ટેબલ ખાસ બનાવવામાં આવે છે જેથી કોઈપણ સમયે બોલની ઊર્જા સમાન હોય. બિલિયર્ડ ટેબલ પર શું થાય છે તે બીજા દ્વારા દર્શાવવામાં આવે છે મહાન સિદ્ધાંત, જે મુજબ આપણું બ્રહ્માંડ ગોઠવાયેલું છે: મહત્તમ એન્ટ્રોપીનો સિદ્ધાંત. અલબત્ત, બ્રહ્માંડનો મહાન સિદ્ધાંત માત્ર બિલિયર્ડ ટેબલ પૂરતો મર્યાદિત નથી. તેથી અમે તેને આકૃતિ કરીશું.

એન્ટ્રોપી એ સિસ્ટમના ડિસઓર્ડરનું માપ છે. સિસ્ટમમાં જેટલો ઓછો ક્રમ હોય છે, તેની એન્ટ્રોપી વધારે હોય છે. શું ઓર્ડર માનવામાં આવે છે અને ડિસઓર્ડર શું છે તે વિશે વાત કરવી કદાચ અર્થપૂર્ણ છે.

ક્રમને કણોની નિયમિત ગોઠવણી તરીકે સમજી શકાય છે, જ્યારે અંતર અને દિશાઓનું પુનરાવર્તન થાય છે, અને કેટલાક કણોના સ્થાન પરથી વ્યક્તિ આગામી એકના સ્થાનની આગાહી કરી શકે છે. જો કણો ગોઠવણના કોઈપણ દૃશ્યમાન નિયમ વિના એકસરખી રીતે મિશ્રિત થાય છે, તો તે એક વિકાર છે. જો કણો અવકાશના એક વિસ્તારમાં સરસ રીતે એકત્રિત કરવામાં આવે છે, તો આ ઓર્ડર છે. જો તેઓ દરેક જગ્યાએ પથરાયેલા હોય, તો તે ગડબડ છે. જો મિશ્રણના વિવિધ ઘટકો જુદી જુદી જગ્યાએ હોય, તો આ ઓર્ડર છે. જો બધું મિશ્ર કરવામાં આવે છે, તો તે એક વાસણ છે. સામાન્ય રીતે, તમારી માતા અથવા પત્નીને પૂછો - તે સમજાવશે.

ગેસની એન્ટ્રોપી (માર્ગ દ્વારા, "ગેસ" શબ્દ ગ્રીક "અરાજકતા" નો અપભ્રંશ છે) પ્રવાહી કરતા વધારે છે. કરતાં પ્રવાહીની એન્ટ્રોપી વધારે છે નક્કર. સામાન્ય રીતે કહીએ તો, તાપમાન વધવાથી ડિસઓર્ડર વધે છે. દ્રવ્યની તમામ અવસ્થાઓમાં ઓછામાં ઓછી એન્ટ્રોપી હશે સખત સ્ફટિકતાપમાન પર સંપૂર્ણ શૂન્ય. આ એન્ટ્રોપી શૂન્ય તરીકે લેવામાં આવે છે.

IN વિવિધ પ્રક્રિયાઓએન્ટ્રોપી ફેરફારો. જો કોઈ પ્રક્રિયામાં ઊર્જામાં કોઈ ફેરફાર થતો નથી, તો પ્રક્રિયા સ્વયંભૂ રીતે જ આગળ વધે છે જો આ સિસ્ટમની એન્ટ્રોપીમાં વધારો તરફ દોરી જાય છે. (જ્યારે એન્ટ્રોપી અને ઉર્જા બંને બદલાય છે ત્યારે શું થાય છે તેની ચર્ચા થોડી વાર પછી કરીશું.) આ જ કારણે, કયૂ સાથે અથડાયા પછી, બિલિયર્ડ ટેબલ પરના દડા ઓછા ક્રમાંકિત સ્થિતિમાં ખસે છે. માં એન્ટ્રોપી બદલાય છે વિવિધ સિસ્ટમોતરીકે સારાંશ આપી શકાય છે મહત્તમ એન્ટ્રોપી સિદ્ધાંત:

કોઈપણ સિસ્ટમ તેને ઉપલબ્ધ સૌથી અવ્યવસ્થિત રાજ્ય પર કબજો કરવાનો સ્વયંભૂ પ્રયાસ કરે છે.

ઘણી વાર આ જ વસ્તુ ફોર્મમાં ઘડવામાં આવે છે એન્ટ્રોપીમાં ઘટાડો ન થવાનો સિદ્ધાંત:

એક અલગ સિસ્ટમની એન્ટ્રોપી ઘટી શકતી નથી.

આ રચનાએ બ્રહ્માંડના થર્મલ ડેથના વિષય પર ઘણા વિવાદોને જન્મ આપ્યો અને ચાલુ રાખ્યો: બ્રહ્માંડ, વ્યાખ્યા દ્વારા, અલગ સિસ્ટમ(કારણ કે તેણી પાસે નથી પર્યાવરણ, જેની સાથે દળ અથવા ઊર્જાનું વિનિમય શક્ય હશે), તેથી, તેની એન્ટ્રોપી ધીમે ધીમે વધે છે. પરિણામે, બ્રહ્માંડ આખરે સંપૂર્ણ સજાતીય અવ્યવસ્થાની સ્થિતિમાં આવશે, જેમાં એક પણ પદાર્થ અસ્તિત્વમાં ન હોઈ શકે જે તેના પર્યાવરણથી કોઈક રીતે અલગ હોય. માં વિષય ઉચ્ચતમ ડિગ્રીરસપ્રદ, પરંતુ ચાલો તેના વિશે કોઈ અન્ય સમયે વાત કરીએ.

એન્ટ્રોપીને એન્સેમ્બલની પોતાની માહિતીના સરેરાશ મૂલ્ય તરીકે વ્યાખ્યાયિત કરવામાં આવે છે

મહત્તમ એન્ટ્રોપી પદ્ધતિ, મહત્તમ માહિતી પદ્ધતિ જેવી જ, તમામ સંભવિત સંભવિત વિતરણો વચ્ચે શોધવા પર આધારિત છે કે જેમાં મહત્તમ એન્ટ્રોપીપ્રકાર (3.19). આમ, ઉકેલની અનિશ્ચિતતાને દૂર કરવા માટે મહત્તમ એન્ટ્રોપી માપદંડનો ઉપયોગ કરવામાં આવે છે, અને કાર્યાત્મક (3.19) છબીના "ગુણવત્તાના માપન" તરીકે કાર્ય કરે છે.

આવા ગુણવત્તા માપનો અર્થ સંભવિત વિતરણ ઘનતાના અંદાજની સમસ્યા તરફ વળીને સમજી શકાય છે. ગાણિતિક આંકડા. કિસ્સામાં પ્રખ્યાત ક્ષણો રેન્ડમ વિતરણમહત્તમ અભિવ્યક્તિ (3.19) દ્વારા મેળવેલ અંદાજ તમામ સંભવિત અંદાજોમાં ઓછામાં ઓછો પૂર્વગ્રહયુક્ત છે. એવી અપેક્ષા રાખી શકાય છે કે છબી બનાવવાની પ્રક્રિયા પર લાદવામાં આવેલા નિયંત્રણો સાથે મહત્તમ (3.19) આપશે. સારો ગ્રેડવિતરણ ઘનતા. ચાલો ઇમેજ નિર્માણની પ્રક્રિયાને ધ્યાનમાં લેવાનો પ્રયાસ કરીએ અને તે શોધીએ ભૌતિક અર્થમહત્તમ એન્ટ્રોપી માપદંડ.

સ્ત્રોતની કુલ તીવ્રતા સમાન રહેવા દો અને બિંદુમાંથી તીવ્રતા ઉત્સર્જિત થાય છે, ચાલો આપણે કિરણોમાંથી આપેલ પદાર્થની રચના કરી શકાય તેવી રીતોની સંખ્યા ગણીએ:

હવે ચાલો વિતરણ શોધીએ જે સૌથી વધુ કેસોમાં રચાશે

તેને તેના લઘુગણક સાથે બદલીને (મહત્તમ સ્થાનાંતરિત થશે નહીં) અને સ્ટર્લિંગ ફોર્મ્યુલાનો ઉપયોગ કરીને, અમને મળે છે:

સમસ્યાને હલ કરવા માટે, રચનાના સમીકરણો પરના પ્રતિબંધોને ધ્યાનમાં લેવું પણ જરૂરી છે:

તેમજ છબીની કુલ તીવ્રતા પર મર્યાદા, એટલે કે.

અભિવ્યક્તિઓ મહત્તમ એન્ટ્રોપી પદ્ધતિનો આધાર બનાવે છે. મહત્તમ એન્ટ્રોપી માપદંડ લાગુ કરવાનો ભૌતિક અર્થ એ છે કે ચેનલ ઇનપુટ પર આવા સંભવિત વિતરણની શોધ કરવી, જે મોટાભાગના કિસ્સાઓમાં આપેલ આઉટપુટ વિતરણ બનાવે છે અથવા સૌથી વધુ બુદ્ધિગમ્ય સ્ત્રોત વિતરણ માટે શોધ કરે છે. આપેલ શરતોરચના આ અર્થમાં, મહત્તમ એન્ટ્રોપી પદ્ધતિને પદ્ધતિ તરીકે ગણી શકાય મહત્તમ સંભાવનારે ઇમેજિંગ મોડેલ માટે.

ચાલો મહત્તમ એન્ટ્રોપી પદ્ધતિ લખવાના સૌથી સામાન્ય સ્વરૂપોમાંના એકને ધ્યાનમાં લઈએ. અમે ઇમેજ રચના સાથે અવાજ ક્ષેત્રની સમાંતર રચનાને ધ્યાનમાં લઈશું:

ઉપરોક્ત તર્કના આધારે, અમે શોધી કાઢીએ છીએ કે અવાજ ક્ષેત્ર એવી રીતે બનાવી શકાય છે કે જ્યાં

સમસ્યાને ઉકેલવા માટે મહત્તમ કરવું જરૂરી છે સંયુક્ત સંભાવનાછબી અને અવાજ ક્ષેત્રની રચના

આ અભિવ્યક્તિનો લઘુગણક લેવાથી અવાજ અને ઇમેજ એન્ટ્રોપીનો સરવાળો મળે છે:

રચના પ્રક્રિયા અને કિરણોની સંખ્યા (કુલ તીવ્રતા) જાળવવા પરના નિયંત્રણોને ધ્યાનમાં લેતા, અમે નીચેની ઑપ્ટિમાઇઝેશન સમસ્યા મેળવીએ છીએ:

જ્યાં ઓપ્ટિમાઇઝેશન સમસ્યાના જથ્થાઓ અને લેગ્રેન્જ ગુણક છે. સિસ્ટમને ઉકેલવા માટે, અમે આંશિક ડેરિવેટિવ્ઝ (3.25) શોધીએ છીએ અને તેમને શૂન્ય સાથે સરખાવીએ છીએ:

અવરોધ સમીકરણોમાં (3.26), (3.27) માટે અને માંથી અભિવ્યક્તિઓને બદલીને, આપણે શોધીએ છીએ

ફોર્મ (3.28) ના સમીકરણો પરથી, લેગ્રેન્જ ગુણક નક્કી કરવામાં આવે છે, જેનો ઉપયોગ ઇનપુટ વિતરણ કાર્ય શોધવા માટે થાય છે:

ઘાતાંકીય ઇન (3.29) એ સોલ્યુશનની હકારાત્મકતાને સુનિશ્ચિત કરે છે કે એન્ટ્રોપી ફંક્શનલ પોતે નોંધપાત્ર રીતે બિનરેખીય છે, જે સમીકરણોની રસપ્રદ વિશેષતાનું કારણ બને છે (3.29): તેમાં અવકાશી ફ્રીક્વન્સીઝ હોઈ શકે છે જે વિકૃત છબીના સ્પેક્ટ્રમમાં ગેરહાજર હતી. આ અમને "સુપર-રિઝોલ્યુશન" ની શક્યતા વિશે વાત કરવાની મંજૂરી આપે છે, એટલે કે, મર્યાદિત બેન્ડવિડ્થ સાથે જનરેશન સિસ્ટમ દ્વારા નાશ પામેલી માહિતીની પુનઃસ્થાપના (પ્રકરણ 5 સુપર-રિઝોલ્યુશનની અસર અને તેની ક્ષમતાઓના મૂલ્યાંકન માટે સમર્પિત છે). એ પણ નોંધ કરો કે (3.29) ના આધારે મેળવેલ ઉકેલો છે વધેલી ગુણવત્તાની સરખામણીમાં રેખીય ગાણિતીક નિયમોપુનઃપ્રાપ્તિ, પરંતુ ઉકેલોની જરૂર છે જટિલ સિસ્ટમબિનરેખીય સમીકરણો.

પાવર સ્પેક્ટ્રાના અંદાજ માટે બર્ગ દ્વારા પ્રસ્તાવિત ફોર્મ (3.19) માં એન્ટ્રોપી અભિવ્યક્તિનો વિકલ્પ છે. એન્ટ્રોપીના આ સ્વરૂપમાં નીચેના સ્વરૂપ છે:

અભિવ્યક્તિ (3.30) પર આધારિત પુનર્નિર્માણ પદ્ધતિનો ઉપયોગ ઇમેજ પ્રોસેસિંગ પ્રેક્ટિસમાં પણ થઈ શકે છે. ચાલો ઘોંઘાટીયા સ્પેક્ટ્રમના નમૂનાઓ જાણીએ

જ્યાં, અનુક્રમે, સ્પેક્ટ્રાના નમૂનાઓ છે, ચાલો આપણે અવલોકન કરેલ છબીના સ્પેક્ટ્રમના સાચા અને ઘોંઘાટીયા નમૂનાઓ વચ્ચેની વિસંગતતા પર મર્યાદા લાદીએ:

પછી ઉકેલ શોધવા માટે સરળ કાર્યાત્મકને મહત્તમ કરવું જરૂરી છે:

એ નોંધવું જોઇએ કે માં તાજેતરમાંદેખાયા મોટી સંખ્યામાં(3.19) અને (3.30) બંને પર આધારિત ગાણિતીક નિયમો, દરેકની રચનાથી ઉદ્ભવતા વિવિધ પ્રકારના પ્રતિબંધોનો ઉપયોગ કરીને ચોક્કસ કાર્ય. સાચું, બે એન્ટ્રોપી ધોરણોની હાજરી કેટલીક શંકાઓ ઊભી કરે છે, પ્રથમ, એ હકીકતને કારણે કે વ્યવહારમાં કયો ઉપયોગ કરવો તે અસ્પષ્ટ હોવાને કારણે, અને બીજું, પુનઃપ્રાપ્તિ સમસ્યાની અપૂરતી સ્પષ્ટ રચનાને કારણે.

બીજું છે રસપ્રદ લક્ષણમહત્તમ એન્ટ્રોપીની શોધ પર આધારિત અલ્ગોરિધમ્સ. ચાલો કેસ માટે અભિવ્યક્તિ (3.27)-(3.29) તરફ વળીએ આદર્શ સિસ્ટમરચના, પરંતુ એડિટિવ ઘોંઘાટની હાજરીમાં તે જોવાનું સરળ છે કે આ કિસ્સામાં મહત્તમ એન્ટ્રોપી અલ્ગોરિધમનો ઉપયોગ અવાજ અને સંકેતની કોઈપણ પ્રાથમિક લાક્ષણિકતાઓ વિના છબીને અવાજથી અલગ કરવાનો દાવો કરે છે. જો કે, વધુ સાવચેત વિશ્લેષણ દર્શાવે છે કે ફોર્મ (3.28) ના સમીકરણોનો ઉપયોગ કરીને ઉકેલ વિરોધાભાસી પરિણામ આપે છે: સિગ્નલ અને અવાજ સંબંધિત છે રેખીય અવલંબન. ખરેખર, અહીં સિગ્નલ અંદાજ બરાબર છે

અને અવાજ અંદાજ હશે:

IN વ્યવહારુ કાર્યક્રમોઆ અસરને ટાળવા માટે, અવાજની એન્ટ્રોપી માટેની અભિવ્યક્તિ ચોક્કસ વજન ગુણાંક સાથે લેવામાં આવે છે અને (3.24) ને બદલે, નીચેના કાર્યાત્મકને ગણવામાં આવે છે:

જોકે, આ ટેકનિક વ્યુત્પન્ન પરિવર્તનનો ભૌતિક અર્થ અસ્પષ્ટ છોડી દે છે.

મહત્તમ એન્ટ્રોપી પદ્ધતિનો બીજો ગેરલાભ એ છે કે શ્રેષ્ઠ પરિણામોતેની મદદથી, તેઓ એક સમાન પૃષ્ઠભૂમિ પર વ્યક્તિગત આવેગ ધરાવતા પદાર્થોનું પુનર્નિર્માણ કરીને મેળવવામાં આવે છે, અને અવકાશી રીતે વિસ્તૃત વસ્તુઓ પર પદ્ધતિ લાગુ કરવાના પ્રયાસો વધઘટના દેખાવનું કારણ બને છે.

મહત્તમ એન્ટ્રોપી અને મહત્તમ માહિતી પદ્ધતિઓ સંબંધિત પ્રસ્તુત પરિણામોને જોડી શકાય છે

મહત્તમ સંભાવના પદ્ધતિનો ઉપયોગ કરીને વિતરણ ઘનતાનો અંદાજ કાઢવા માટે અલ્ગોરિધમ્સના નિર્માણ પર આધારિત સિંગલ સ્કીમમાં. આમ, ગણવામાં આવેલ ગાણિતીક નિયમો § 2.4 માં વર્ણવેલ આંકડાકીય નિયમિતીકરણ પદ્ધતિઓના જૂથમાં સમાવી શકાય છે. માત્ર એટલો જ તફાવત એ છે કે આ ગાણિતીક નિયમો એક અલગ આંકડાકીય મોડેલ પર આધારિત છે - સંભવિત ઘનતા તરીકે છબીની રજૂઆત. આવા મોડેલ તરત જ વિચારણા હેઠળના કાર્યોની બિનરેખીયતા તરફ દોરી જાય છે. જો કે, અગાઉ નોંધાયેલ ગેરફાયદા અમને એલ્ગોરિધમ્સ શોધવા માટે દબાણ કરે છે જે માહિતી-સૈદ્ધાંતિક પુનઃસ્થાપન પદ્ધતિઓ (અમર્યાદિત આવર્તન બેન્ડ, ઉકેલની બિન-નકારાત્મકતા, વગેરે) ના ફાયદા જાળવી રાખીને, અમને છબીઓના વિશાળ વર્ગને પુનઃસ્થાપિત કરવાની મંજૂરી આપે છે.