તમે ગ્રેડિયન્ટની દિશામાં શ્રેષ્ઠ બિંદુ માટે નહીં, પરંતુ વર્તમાન કરતાં વધુ સારા બિંદુ માટે પણ શોધી શકો છો.

તમામ સ્થાનિક ઓપ્ટિમાઇઝેશન પદ્ધતિઓનો અમલ કરવા માટે સૌથી સરળ. તે તેના બદલે નબળા કન્વર્જન્સ શરતો ધરાવે છે, પરંતુ કન્વર્જન્સનો દર તદ્દન ઓછો (રેખીય) છે. ગ્રેડિયન્ટ મેથડ સ્ટેપનો ઉપયોગ ઘણીવાર અન્ય ઓપ્ટિમાઇઝેશન પદ્ધતિઓના ભાગ રૂપે થાય છે, જેમ કે ફ્લેચર-રીવ્સ પદ્ધતિ.

વર્ણન [ | ]

સુધારાઓ[ | ]

જ્યારે કોતર સાથે આગળ વધતી હોય ત્યારે ઢાળવાળી વંશ પદ્ધતિ ખૂબ જ ધીમી હોય છે, અને ઉદ્દેશ્ય કાર્યમાં ચલોની સંખ્યામાં વધારો થાય છે, પદ્ધતિની આ વર્તણૂક લાક્ષણિક બની જાય છે. આ ઘટનાનો સામનો કરવા માટે, તેનો ઉપયોગ કરવામાં આવે છે, જેનો સાર ખૂબ જ સરળ છે. ઢાળના વંશના બે પગલાઓ બનાવ્યા પછી અને ત્રણ બિંદુઓ પ્રાપ્ત કર્યા પછી, ત્રીજું પગલું કોતરના તળિયે, પ્રથમ અને ત્રીજા બિંદુઓને જોડતા વેક્ટરની દિશામાં લેવું જોઈએ.

ચતુર્ભુજની નજીકના કાર્યો માટે, સંયોજક ઢાળ પદ્ધતિ અસરકારક છે.

કૃત્રિમ ન્યુરલ નેટવર્ક્સમાં એપ્લિકેશન[ | ]

ગ્રેડિયન્ટ ડિસેન્ટ પદ્ધતિ, કેટલાક ફેરફારો સાથે, પરસેપ્ટ્રોન તાલીમ માટે વ્યાપકપણે ઉપયોગમાં લેવાય છે અને કૃત્રિમ ન્યુરલ નેટવર્કના સિદ્ધાંતમાં બેકપ્રોપગેશન પદ્ધતિ તરીકે ઓળખાય છે. જ્યારે પરસેપ્ટ્રોન-પ્રકારના ન્યુરલ નેટવર્કને તાલીમ આપવામાં આવે છે, ત્યારે નેટવર્કના વેઇટીંગ ગુણાંકમાં ફેરફાર કરવો જરૂરી છે જેથી જ્યારે તાલીમ ઇનપુટ ડેટાનો ક્રમ ઇનપુટને આપવામાં આવે ત્યારે ન્યુરલ નેટવર્કના આઉટપુટમાં સરેરાશ ભૂલને ઓછી કરી શકાય. ઔપચારિક રીતે, ગ્રેડિયન્ટ ડિસેન્ટ મેથડનો ઉપયોગ કરીને માત્ર એક પગલું ભરવા માટે (નેટવર્ક પેરામીટર્સમાં માત્ર એક ફેરફાર કરો), ક્રમશઃ નેટવર્ક ઇનપુટ પર તાલીમ ડેટાનો સંપૂર્ણ સેટ સબમિટ કરવો જરૂરી છે, દરેક ઑબ્જેક્ટ માટે ભૂલની ગણતરી કરો. પ્રશિક્ષણ ડેટા અને નેટવર્ક ગુણાંકના જરૂરી સુધારાની ગણતરી કરો (પરંતુ આ કરેક્શન ન કરો), અને તમામ ડેટા સબમિટ કર્યા પછી, દરેક નેટવર્ક ગુણાંક (ગ્રેડિયન્ટ્સનો સરવાળો) ના સુધારણામાં રકમની ગણતરી કરો અને ગુણાંકને "એક પગલું" ઠીક કરો. . દેખીતી રીતે, પ્રશિક્ષણ ડેટાના મોટા સમૂહ સાથે, અલ્ગોરિધમ અત્યંત ધીમી ગતિએ કાર્ય કરશે, તેથી વ્યવહારમાં, નેટવર્ક ગુણાંકને ઘણીવાર દરેક તાલીમ ઘટક પછી સમાયોજિત કરવામાં આવે છે, જ્યાં ગ્રેડિયન્ટ મૂલ્ય ખર્ચ કાર્યના ઢાળ દ્વારા અંદાજિત કરવામાં આવે છે, માત્ર એક તાલીમ પર ગણતરી કરવામાં આવે છે. તત્વ આ પદ્ધતિ કહેવામાં આવે છે સ્ટોકેસ્ટિક ગ્રેડિયન્ટ વંશ અથવા ઓપરેશનલ ગ્રેડિયન્ટ વંશ . સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ એ સ્ટોકેસ્ટિક અંદાજનું એક સ્વરૂપ છે. સ્ટોકેસ્ટિક અંદાજનો સિદ્ધાંત સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ પદ્ધતિના કન્વર્જન્સ માટે શરતો પ્રદાન કરે છે.

લિંક્સ [ | ]

• જે. મેથ્યુસ.સ્ટીપ ડીસેન્ટ અથવા ગ્રેડિયન્ટ મેથડ માટે મોડ્યુલ. (અનુપલબ્ધ લિંક)

સાહિત્ય [ | ]

• અકુલિચ આઈ. એલ.ઉદાહરણો અને સમસ્યાઓમાં ગાણિતિક પ્રોગ્રામિંગ. - એમ.: ઉચ્ચ શાળા, 1986. - પૃષ્ઠ 298-310.
• ગિલ એફ., મુરે ડબલ્યુ., રાઈટ એમ.પ્રેક્ટિકલ ઑપ્ટિમાઇઝેશન = વ્યવહારિક ઑપ્ટિમાઇઝેશન. - એમ.: મીર, 1985.
• કોર્શુનોવ યુ., કોર્શુનોવ યુ.સાયબરનેટિક્સના ગાણિતિક પાયા. - M.: Energoatomizdat, 1972.
• મેક્સિમોવ યુ., ફિલિપોવસ્કાયા ઇ. એ.બિનરેખીય પ્રોગ્રામિંગ સમસ્યાઓ ઉકેલવા માટેના અલ્ગોરિધમ્સ. - એમ.: MEPhI, 1982.
• મેક્સિમોવ યુ.રેખીય અને અલગ પ્રોગ્રામિંગ માટે અલ્ગોરિધમ્સ. - એમ.: MEPhI, 1980.
• કોર્ન જી., કોર્ન ટી.વૈજ્ઞાનિકો અને એન્જિનિયરો માટે ગણિતની હેન્ડબુક. - એમ.: નૌકા, 1970. - પૃષ્ઠ 575-576.
• એસ. યુ. ગોરોડેત્સ્કી, વી. એ. ગ્રીશાગિન.નોનલાઇનર પ્રોગ્રામિંગ અને મલ્ટિએક્સ્ટ્રેમલ ઓપ્ટિમાઇઝેશન. - નિઝની નોવગોરોડ: નિઝની નોવગોરોડ યુનિવર્સિટી પબ્લિશિંગ હાઉસ, 2007. - પૃષ્ઠ 357-363.

બિંદુ પર વિભેદક કાર્ય f(x) નો ઢાળ એક્સકહેવાય છે n-પરિમાણીય વેક્ટર f(x) , જેના ઘટકો ફંક્શનના આંશિક ડેરિવેટિવ્ઝ છે f(x),બિંદુ પર ગણતરી એક્સ, એટલે કે

f"(x ) = (df(x)/ડીએચ 1 , …, df(x)/ડીએક્સ એન) ટી.

આ વેક્ટર બિંદુ દ્વારા પ્લેન પર લંબ છે એક્સ, અને ફંક્શનની લેવલ સપાટીની સ્પર્શક f(x),એક બિંદુમાંથી પસાર થવું એક્સ.આવી સપાટીના દરેક બિંદુ પર કાર્ય f(x)સમાન મૂલ્ય લે છે. ફંક્શનને વિવિધ સ્થિર મૂલ્યો C 0 , C 1 , ... સાથે સમાન કરીને, અમે તેની ટોપોલોજી (ફિગ. 2.8) ને દર્શાવતી સપાટીઓની શ્રેણી મેળવીએ છીએ.

ગ્રેડિયન્ટ વેક્ટર આપેલ બિંદુ પર કાર્યમાં સૌથી ઝડપી વધારો તરફ નિર્દેશિત થાય છે. ઢાળની વિરુદ્ધ વેક્ટર (-f'(x)) , કહેવાય છે વિરોધી ઢાળઅને કાર્યના સૌથી ઝડપી ઘટાડા તરફ નિર્દેશિત થાય છે. ન્યૂનતમ બિંદુ પર, કાર્યનો ઢાળ શૂન્ય છે. પ્રથમ ક્રમની પદ્ધતિઓ, જેને ઢાળ અને લઘુત્તમ પદ્ધતિઓ પણ કહેવાય છે, તે ઢાળના ગુણધર્મો પર આધારિત છે. સામાન્ય કિસ્સામાં આ પદ્ધતિઓનો ઉપયોગ કરવાથી તમે કાર્યનો સ્થાનિક લઘુત્તમ બિંદુ નક્કી કરી શકો છો.

દેખીતી રીતે, જો ત્યાં કોઈ વધારાની માહિતી નથી, તો પછી પ્રારંભિક બિંદુથી એક્સમુદ્દા પર જવાનું શાણપણ છે એક્સ, એન્ટિગ્રેડિયન્ટની દિશામાં પડેલો - કાર્યનો સૌથી ઝડપી ઘટાડો. વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ[આર k ] વિરોધી ઢાળ - f'(x ) [કે] એક્સ[આરબિંદુ પર

], અમે ફોર્મની પુનરાવર્તિત પ્રક્રિયા મેળવીએ છીએ X[ 1] = k+[આર]-x f'(x ) , a k f"(x > 0; આર=0, 1, 2, ...

સંકલન સ્વરૂપમાં, આ પ્રક્રિયા નીચે મુજબ લખાયેલ છે:

x i [ આર+1]=x i[આર] - a kf(x f'(x ) /x i

i = 1, ..., n; આર= 0, 1, 2,...

પુનરાવર્તિત પ્રક્રિયાને રોકવા માટેના માપદંડ તરીકે, કાં તો દલીલના નાના વધારાની શરતની પરિપૂર્ણતા || k+[આર+l] - એક્સ[આર] || <= e , либо выполнение условия малости градиента

|| f'(x[આર+l] ) || <= g ,

અહીં e અને g નાની માત્રામાં આપવામાં આવે છે.

એક સંયુક્ત માપદંડ પણ શક્ય છે, જેમાં ઉલ્લેખિત શરતોની એક સાથે પરિપૂર્ણતાનો સમાવેશ થાય છે. તેઓ જે રીતે પગલાનું કદ પસંદ કરે છે તે રીતે ગ્રેડિયન્ટ પદ્ધતિઓ એકબીજાથી અલગ પડે છે a k f"(x.

સતત પગલાં સાથેની પદ્ધતિમાં, તમામ પુનરાવર્તનો માટે ચોક્કસ સ્થિર પગલું મૂલ્ય પસંદ કરવામાં આવે છે. એકદમ નાનું પગલું a k f"(xખાતરી કરશે કે કાર્ય ઘટે છે, એટલે કે, અસમાનતા

f(x[ આર+1]) = f(x[કે] - a k f’(x f'(x )) < f(x f'(x ) .

જો કે, આ લઘુત્તમ બિંદુ સુધી પહોંચવા માટે અસ્વીકાર્ય રીતે મોટી સંખ્યામાં પુનરાવર્તનો હાથ ધરવાની જરૂરિયાત તરફ દોરી શકે છે. બીજી બાજુ, એક પગલું જે ખૂબ મોટું છે તે કાર્યમાં અણધારી વધારો કરી શકે છે અથવા લઘુત્તમ બિંદુ (સાયકલિંગ) ની આસપાસ ઓસિલેશન તરફ દોરી શકે છે. પગલાના કદને પસંદ કરવા માટે જરૂરી માહિતી મેળવવાની મુશ્કેલીને લીધે, સતત પગલાં સાથેની પદ્ધતિઓનો વ્યવહારમાં ભાગ્યે જ ઉપયોગ થાય છે.

પુનરાવર્તનોની સંખ્યા અને વિશ્વસનીયતાના સંદર્ભમાં ગ્રેડિયન્ટ વધુ આર્થિક છે ચલ પગલાં પદ્ધતિઓ,જ્યારે, ગણતરીના પરિણામોના આધારે, પગલાનું કદ અમુક રીતે બદલાય છે. ચાલો વ્યવહારમાં ઉપયોગમાં લેવાતી આવી પદ્ધતિઓના પ્રકારોને ધ્યાનમાં લઈએ.

દરેક પુનરાવૃત્તિ પર સૌથી ઊંચો વંશ પદ્ધતિનો ઉપયોગ કરતી વખતે, પગલાનું કદ a k f"(xફંક્શનની ન્યૂનતમ સ્થિતિમાંથી પસંદ કરવામાં આવે છે f(x)વંશની દિશામાં, એટલે કે.
f(x[આર]-a k f'(x[આર])) = f(x f'(x - af"(x[આર])) .

આ સ્થિતિનો અર્થ એ છે કે એન્ટિગ્રેડિયન્ટ સાથેની હિલચાલ ફંક્શનના મૂલ્ય સુધી થાય છે f(x)ઘટે છે. ગાણિતિક દૃષ્ટિકોણથી, દરેક પુનરાવૃત્તિ પર એક-પરિમાણીય લઘુત્તમીકરણની સમસ્યાને હલ કરવી જરૂરી છે એકાર્યો
j (a) = f(x[આર]-af"(x[આર])) .

સૌથી ઊંચો વંશ પદ્ધતિનો અલ્ગોરિધમ નીચે મુજબ છે.

1. પ્રારંભિક બિંદુના કોઓર્ડિનેટ્સ સેટ કરો એક્સ.

2. બિંદુ પર એક્સ[આર], k = 0, 1, 2, ... ગ્રેડિયન્ટ મૂલ્યની ગણતરી કરે છે f'(x[આર]) .

3. પગલાનું કદ નક્કી કરવામાં આવે છે a k, એક-પરિમાણીય લઘુત્તમીકરણ દ્વારા એકાર્યો જે (a) = f(x[આર]-af"(x[આર])).

4. બિંદુના કોઓર્ડિનેટ્સ નક્કી કરવામાં આવે છે એક્સ[X[ 1]:

x i [ X[ 1]= x i[આર]- a k f' i (x[આર]), i = 1,..., p.

5. સ્ટીરેશન પ્રક્રિયાને રોકવા માટેની શરતો તપાસવામાં આવે છે. જો તેઓ પૂરા થાય, તો ગણતરીઓ અટકી જાય છે. નહિંતર, પગલું 1 પર જાઓ.

વિચારણા હેઠળની પદ્ધતિમાં, બિંદુથી ચળવળની દિશા એક્સ[આર] બિંદુ પર સ્તર રેખાને સ્પર્શે છે k+[X[ 1] (ફિગ. 2.9). વંશનો માર્ગ વાંકોચૂંકો છે, જેમાં અડીને આવેલા ઝિગઝેગ એકબીજા સાથે ઓર્થોગોનલ લિંક્સ છે. ખરેખર, એક પગલું a k ને નાનું કરીને પસંદ કરવામાં આવે છે એકાર્યો? (a) = f(x f'(x -af"(x[આર])) . કાર્યના ન્યૂનતમ માટે જરૂરી શરત j ડીજટિલ કાર્યના વ્યુત્પન્નની ગણતરી કર્યા પછી, અમે પડોશી બિંદુઓ પર વંશ દિશાઓના વેક્ટરની ઓર્થોગોનાલિટી માટેની સ્થિતિ મેળવીએ છીએ:

ડીજે (a)/da = -f’(x[X[ 1]f'(x[આર]) = 0.

સૌથી ઊભો વંશ પદ્ધતિનું ભૌમિતિક અર્થઘટન સરળ બહિર્મુખ કાર્યો માટે ગ્રેડિયન્ટ પદ્ધતિઓ ઉચ્ચ ઝડપે (ભૌમિતિક પ્રગતિની ગતિ) પર ન્યૂનતમ પર એકરૂપ થાય છે. આવા કાર્યો સૌથી મહાન છેએમ અને ઓછામાં ઓછું m

બીજા ડેરિવેટિવ્ઝના મેટ્રિક્સના ઇજેન મૂલ્યો (હેસિયન મેટ્રિક્સ) એકબીજાથી થોડું અલગ છે, એટલે કે મેટ્રિક્સ N(x) સારી રીતે કન્ડિશન્ડ. યાદ કરો કે ઇજનવેલ્યુઝ l i, =1, …, n i

, મેટ્રિસીસ એ લાક્ષણિક સમીકરણના મૂળ છે જો કે, વ્યવહારમાં, એક નિયમ તરીકે, વિધેયોને ઘટાડી દેવામાં આવે છે તેમાં બીજા ડેરિવેટિવ્ઝના અયોગ્ય મેટ્રિસિસ હોય છે.<< (t/m 1). કેટલીક દિશાઓ સાથેના આવા કાર્યોના મૂલ્યો અન્ય દિશાઓની તુલનામાં ખૂબ ઝડપથી (ક્યારેક તીવ્રતાના કેટલાક ઓર્ડર દ્વારા) બદલાય છે. સરળ કેસમાં તેમની સ્તરની સપાટીઓ મજબૂત રીતે વિસ્તરેલી હોય છે (ફિગ. 2.10), અને વધુ જટિલ કિસ્સાઓમાં તેઓ વળાંક અને કોતરો જેવા દેખાય છે. આવા ગુણધર્મો સાથેના કાર્યો કહેવામાં આવે છેખાડી

ચોખા. 2.10. ગલી કાર્ય એક્સઢાળ પદ્ધતિઓનો કન્વર્જન્સ દર પણ ગ્રેડિયન્ટ ગણતરીઓની ચોકસાઈ પર નોંધપાત્ર રીતે આધાર રાખે છે. ચોકસાઈની ખોટ, જે સામાન્ય રીતે ન્યૂનતમ બિંદુઓની નજીકમાં અથવા ગલીની પરિસ્થિતિમાં થાય છે, તે સામાન્ય રીતે ગ્રેડિએન્ટ ડિસેન્ટ પ્રક્રિયાના કન્વર્જન્સને વિક્ષેપિત કરી શકે છે.

ઉપરોક્ત કારણોને લીધે, સમસ્યાને ઉકેલવાના પ્રારંભિક તબક્કે ઢાળ પદ્ધતિઓનો ઉપયોગ અન્ય, વધુ અસરકારક પદ્ધતિઓ સાથે સંયોજનમાં થાય છે. આ કિસ્સામાં, બિંદુ

લઘુત્તમ બિંદુથી દૂર છે, અને એન્ટિગ્રેડિયન્ટની દિશામાં પગલાઓ કાર્યમાં નોંધપાત્ર ઘટાડો પ્રાપ્ત કરવાનું શક્ય બનાવે છે.

ઉપર ચર્ચા કરાયેલી ઢાળ પદ્ધતિઓ સામાન્ય કિસ્સામાં ફંકશનનો ન્યૂનતમ બિંદુ ફક્ત અનંત સંખ્યામાં પુનરાવર્તનોમાં જ શોધે છે. સંયોજક ઢાળ પદ્ધતિ શોધ દિશાઓ જનરેટ કરે છે જે કાર્યની ભૂમિતિને ઘટાડી દેવામાં આવે છે તેની સાથે વધુ સુસંગત હોય છે. આ તેમના કન્વર્જન્સની ઝડપમાં નોંધપાત્ર વધારો કરે છે અને ઉદાહરણ તરીકે, ચતુર્ભુજ કાર્યને ઘટાડવા માટે પરવાનગી આપે છે. f(x) = (x, Hx) + (b, x) + aસપ્રમાણ હકારાત્મક ચોક્કસ મેટ્રિક્સ સાથે એનફંક્શન ચલોની સંખ્યા જેટલી.

ન્યૂનતમ બિંદુની નજીકમાં કોઈપણ સરળ કાર્યને ચતુર્ભુજ કાર્ય દ્વારા સારી રીતે અંદાજિત કરી શકાય છે, તેથી બિન-ક્વાડ્રેટિક કાર્યોને ઘટાડવા માટે સંયોજક ઢાળ પદ્ધતિઓનો સફળતાપૂર્વક ઉપયોગ થાય છે. આ કિસ્સામાં, તેઓ મર્યાદિત થવાનું બંધ કરે છે અને પુનરાવર્તિત બને છે. nવ્યાખ્યા દ્વારા, બે એક્સ-પરિમાણીય વેક્ટર અનેખાતે કહેવાય છેસંયોજિત મેટ્રિક્સ સંબંધિતએચ મેટ્રિક્સ સંબંધિત(અથવા -સંયુક્ત), જો સ્કેલર ઉત્પાદન, (xસારું) = 0. અહીંએન - કદનું સપ્રમાણ હકારાત્મક ચોક્કસ મેટ્રિક્સ n એક્સ

પી. સંયોજક ઢાળ પદ્ધતિઓમાં સૌથી નોંધપાત્ર સમસ્યાઓ પૈકી એક કાર્યક્ષમ રીતે દિશાઓ બાંધવાની સમસ્યા છે. ફ્લેચર-રીવ્સ પદ્ધતિ દરેક પગલા પર એન્ટિગ્રેડિયન્ટને રૂપાંતરિત કરીને આ સમસ્યાને હલ કરે છે[આર]) -f(x દિશામાં[આર], મેટ્રિક્સ સંબંધિતપી વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ, વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ, ..., વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ[આર- અગાઉ મળેલી દિશાઓ સાથે સંયોજિત કરો

-1]. વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ[આરચાલો પ્રથમ ચતુર્ભુજ કાર્યને ઘટાડવાની સમસ્યાના સંબંધમાં આ પદ્ધતિને ધ્યાનમાં લઈએ.

દિશાઓ આર] = -f'(x[આર]) ] ની ગણતરી સૂત્રો દ્વારા કરવામાં આવે છે: દિશામાં[આર p[ આર>= 1;

+b k-1 -l],’-સંયુક્ત), જો સ્કેલર ઉત્પાદન) .

p = - આર f દિશામાં[આર], વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ[આર b મૂલ્યો મેટ્રિક્સ સંબંધિત-1 પસંદ કરવામાં આવે છે જેથી દિશાઓ :

(દિશામાં[આર], -1] હતા[-સંયુક્ત 1])= 0.

એચપી

,

k-

પરિણામે, ચતુર્ભુજ કાર્ય માટે આર+l] પુનરાવર્તિત લઘુત્તમ પ્રક્રિયા ફોર્મ ધરાવે છે[આર]x[[આર],

=x વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ[આર] - +a k પી -સંયુક્તજ્યાં માટે વંશની દિશા m પગલું; અને k -પગલું કદ. એબાદમાં ફંક્શનની ન્યૂનતમ સ્થિતિમાંથી પસંદ કરવામાં આવે છે

f(x[ આર] + f(x)[આર]) = f(x[આર] + દ્વારા [આર]) .

ચળવળની દિશામાં, એટલે કે એક-પરિમાણીય લઘુત્તમ સમસ્યાને હલ કરવાના પરિણામે:

a k આર

ar એક્સચતુર્ભુજ કાર્ય માટે દિશામાં = -f'(x) .

ફ્લેચર-રીવ્સ કન્જુગેટ ગ્રેડિયન્ટ પદ્ધતિનું અલ્ગોરિધમ નીચે મુજબ છે. -સંયુક્ત 1. બિંદુ પર એગણતરી કરેલ . 2. ચાલુ એક્સ[X[ 1].

m પગલું, ઉપરોક્ત સૂત્રોનો ઉપયોગ કરીને, પગલું નક્કી કરવામાં આવે છે f(x[આર+1]) k f'(x[આર+1]) .

અને સમયગાળો f'(x) 3. મૂલ્યોની ગણતરી કરવામાં આવે છે એક્સ[આરઅને 4. જો= 0, પછી બિંદુ દિશામાં[આર+1] એ ફંક્શનનો ન્યૂનતમ બિંદુ છે

f(x). કદનું સપ્રમાણ હકારાત્મક ચોક્કસ મેટ્રિક્સનહિંતર, નવી દિશા નક્કી થાય છે +l] સંબંધમાંથીઅને આગામી પુનરાવર્તન માટે સંક્રમણ હાથ ધરવામાં આવે છે. આ પ્રક્રિયા લઘુત્તમ ક્વાડ્રેટિક ફંક્શનને વધુમાં શોધી શકશે નહીં એક્સપગલાં એક્સ[કદનું સપ્રમાણ હકારાત્મક ચોક્કસ મેટ્રિક્સજ્યારે બિન-ચતુર્ભુજ કાર્યોને ઘટાડી રહ્યા હોય, ત્યારે ફ્લેચર-રીવ્ઝ પદ્ધતિ મર્યાદિતમાંથી પુનરાવર્તિત બને છે. આ કિસ્સામાં, પછી

પરિણામે, ચતુર્ભુજ કાર્ય માટે આર+l] (p+[આર]x[[આર],

દિશાઓ આર] 1) પ્રક્રિયા 1-4 ની પુનરાવૃત્તિ ચક્રીય રીતે રિપ્લેસમેન્ટ સાથે પુનરાવર્તિત થાય છે[આર])+ ચાલુ -સંયુક્ત 1 દિશામાં[આર p[ આર>= 1;

+1] , અને ગણતરીઓ પર સમાપ્ત થાય છે, જ્યાં આપેલ સંખ્યા છે. આ કિસ્સામાં, પદ્ધતિમાં નીચેના ફેરફારનો ઉપયોગ થાય છે: k+);

f(x[ આર] + = x[આર]) = f(x[આર] = -f'(x[આર];

.

b p = -f’( a k p p = -f’(+ap અહીંઆઈ કદનું સપ્રમાણ હકારાત્મક ચોક્કસ મેટ્રિક્સ- ઘણા સૂચકાંકો:

= (0, n, 2 એક્સ p, પગાર, ...) વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ = , એટલે કે પદ્ધતિ દર વખતે અપડેટ થાય છેપગલાં એક્સકન્જુગેટ ગ્રેડિયન્ટ પદ્ધતિનો ભૌમિતિક અર્થ નીચે મુજબ છે (ફિગ. 2.11). આપેલ પ્રારંભિક બિંદુથી વંશ દિશામાં હાથ ધરવામાં આવે છે-f"(x એક્સદિશામાં કાર્યનો લઘુત્તમ બિંદુ છે વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ, તે ] વિરોધી ઢાળ -) ઓર્થોગોનલ થી વેક્ટર વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ. પછી વેક્ટર મળે છે વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ , મેટ્રિક્સ સંબંધિત- સાથે જોડવું વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએ. આગળ, આપણે દિશા સાથે લઘુત્તમ કાર્ય શોધીએ છીએ વંશની દિશા તરીકે પસંદ કરી રહ્યા છીએવગેરે

લઘુત્તમ સમસ્યાઓ ઉકેલવા માટે સંયુક્ત દિશા પદ્ધતિઓ સૌથી અસરકારક છે. જો કે, એ નોંધવું જોઇએ કે તેઓ ગણતરી પ્રક્રિયા દરમિયાન થતી ભૂલો પ્રત્યે સંવેદનશીલ હોય છે. મોટી સંખ્યામાં ચલો સાથે, ભૂલ એટલી વધી શકે છે કે ચતુર્ભુજ કાર્ય માટે પણ પ્રક્રિયાને પુનરાવર્તિત કરવી પડશે, એટલે કે તેના માટેની પ્રક્રિયા હંમેશા તેમાં બંધબેસતી નથી. કદનું સપ્રમાણ હકારાત્મક ચોક્કસ મેટ્રિક્સ- ઘણા સૂચકાંકો:

સૌથી ઊંચો વંશ પદ્ધતિ એ વેરિયેબલ સ્ટેપ સાથેની ઢાળવાળી પદ્ધતિ છે. દરેક પુનરાવૃત્તિ પર, વંશની દિશામાં ફંકશન f(x) ના ન્યૂનતમ શરતમાંથી પગલું કદ k પસંદ કરવામાં આવે છે, એટલે કે.

આ સ્થિતિનો અર્થ એ છે કે જ્યાં સુધી ફંક્શન f(x) નું મૂલ્ય ઘટે ત્યાં સુધી એન્ટિગ્રેડિયન્ટ સાથેની હિલચાલ થાય છે. ગાણિતિક દૃષ્ટિકોણથી, દરેક પુનરાવર્તન પર કાર્ય દ્વારા એક-પરિમાણીય લઘુત્તમીકરણની સમસ્યાને હલ કરવી જરૂરી છે.

()=f (x (k) -f (x (k)))

ચાલો આ માટે ગોલ્ડન રેશિયો પદ્ધતિનો ઉપયોગ કરીએ.

સૌથી ઊંચો વંશ પદ્ધતિનો અલ્ગોરિધમ નીચે મુજબ છે.

પ્રારંભિક બિંદુ x (0) ના કોઓર્ડિનેટ્સ ઉલ્લેખિત છે.

બિંદુ x (k) , k = 0, 1, 2, ... પર, ઢાળ મૂલ્ય f (x (k)) ની ગણતરી કરવામાં આવે છે.

પગલું કદ k ફંક્શનનો ઉપયોગ કરીને એક-પરિમાણીય લઘુત્તમીકરણ દ્વારા નક્કી કરવામાં આવે છે

()=f (x (k) -f (x (k))).

બિંદુ x (k) ના કોઓર્ડિનેટ્સ નક્કી કરવામાં આવે છે:

x i (k+1) = x i (k) - k f i (x (k)), i=1, …, n.

પુનરાવર્તિત પ્રક્રિયાને રોકવા માટેની સ્થિતિ તપાસવામાં આવી છે:

||f (x (k +1))|| .

જો તે પરિપૂર્ણ થાય, તો ગણતરીઓ અટકી જાય છે. નહિંતર, અમે પગલું 1 પર આગળ વધીએ છીએ. સૌથી ઊભો વંશ પદ્ધતિનું ભૌમિતિક અર્થઘટન ફિગમાં રજૂ કરવામાં આવ્યું છે. 1.

ચોખા. 2.1. સૌથી ઊભો વંશ પદ્ધતિનો બ્લોક ડાયાગ્રામ.

પ્રોગ્રામમાં પદ્ધતિનો અમલ:

સૌથી ઊભો ઉતરવાની પદ્ધતિ.

ચોખા. 2.2. સૌથી ઊભો વંશ પદ્ધતિનો અમલ.

નિષ્કર્ષ: અમારા કિસ્સામાં, પદ્ધતિ 7 પુનરાવર્તનોમાં ફેરવાઈ. પોઈન્ટ A7 (0.6641; -1.3313) એ એક્સ્ટ્રીમ પોઈન્ટ છે. સંયુક્ત દિશાઓની પદ્ધતિ. ચતુર્ભુજ કાર્યો માટે, તમે એક ઢાળ પદ્ધતિ બનાવી શકો છો જેમાં કન્વર્જન્સ સમય મર્યાદિત હશે અને ચલ n ની સંખ્યા જેટલી હશે.

ચાલો અમુક ચોક્કસ દિશા કહીએ અને અમુક હકારાત્મક ચોક્કસ હેસ મેટ્રિક્સ H ના સંદર્ભમાં જોડીએ જો:

પછી એટલે કે એકમ H માટે, સંયોજક દિશાનો અર્થ તેમની લંબ છે. સામાન્ય કિસ્સામાં, H બિન-તુચ્છ છે. સામાન્ય કિસ્સામાં, જોડાણ એ વેક્ટર પર હેસ મેટ્રિક્સનો ઉપયોગ છે - તેનો અર્થ એ છે કે આ વેક્ટરને અમુક ખૂણાથી ફેરવવું, તેને ખેંચવું અથવા સંકુચિત કરવું.

અને હવે વેક્ટર ઓર્થોગોનલ છે, એટલે કે કન્જુગેસી એ વેક્ટરની ઓર્થોગોનાલિટી નથી, પરંતુ ફરેલા વેક્ટરની ઓર્થોગોનાલિટી છે.

ચોખા. 2.3. સંયુક્ત દિશાઓ પદ્ધતિનો બ્લોક ડાયાગ્રામ.

પ્રોગ્રામમાં પદ્ધતિનો અમલ: સંયુક્ત દિશાઓની પદ્ધતિ.

ચોખા. 2.4. સંયુક્ત દિશાઓ પદ્ધતિનો અમલ.

ચોખા. 2.5. સંયુક્ત દિશાઓ પદ્ધતિનો આલેખ.

નિષ્કર્ષ: પોઈન્ટ A3 (0.6666; -1.3333) 3 પુનરાવૃત્તિઓમાં જોવા મળ્યો હતો અને તે એક આત્યંતિક બિંદુ છે.

3. પ્રતિબંધોની હાજરીમાં કાર્યનું લઘુત્તમ અને મહત્તમ મૂલ્ય નક્કી કરવા માટેની પદ્ધતિઓનું વિશ્લેષણ

યાદ કરો કે સામાન્ય અવરોધિત ઑપ્ટિમાઇઝેશન સમસ્યા આના જેવી દેખાય છે:

f(x) ® મિનિટ, x О W,

જ્યાં W એ R m નો યોગ્ય સબસેટ છે. સમાનતા-પ્રકારના અવરોધો સાથે સમસ્યાઓનો પેટા વર્ગ એ હકીકત દ્વારા અલગ પડે છે કે સમૂહ  ફોર્મના અવરોધો દ્વારા વ્યાખ્યાયિત થયેલ છે

f i (x) = 0, જ્યાં f i: R m ®R (i = 1, …, k).

આમ, W = (x О R m: f i (x) = 0, i = 1, …, k).

ફંક્શન f માટે અનુક્રમણિકા "0" લખવાનું આપણા માટે અનુકૂળ રહેશે. આમ, સમાનતા પ્રકારના અવરોધો સાથેની ઑપ્ટિમાઇઝેશન સમસ્યા આ રીતે લખવામાં આવી છે

f 0 (x) ® મિનિટ, (3.1)

f i (x) = 0, i = 1, …, k. (3.2)

જો હવે આપણે R k માં મૂલ્યો સાથે R m પર f a ફંક્શન દ્વારા દર્શાવીએ છીએ, તો સંકલન સંકેત જેનું સ્વરૂપ f(x) = (f 1 (x), ..., f k (x)), પછી ( 3.1)-(3.2) આપણે તેને ફોર્મમાં પણ લખી શકીએ છીએ

f 0 (x) ® મિનિટ, f(x) = Q.

ભૌમિતિક રીતે, સમાનતા પ્રકારના અવરોધો સાથેની સમસ્યા એ મેનીફોલ્ડ પર ફંક્શન f 0 ના ગ્રાફના સૌથી નીચા બિંદુને શોધવાની સમસ્યા છે  (જુઓ આકૃતિ. 3.1).

પોઈન્ટ જે તમામ પ્રતિબંધોને સંતોષે છે (એટલે ​​​​કે, સમૂહ માંના પોઈન્ટ) સામાન્ય રીતે સ્વીકાર્ય કહેવાય છે. સ્વીકાર્ય બિંદુ x* એ f i (x) = 0, i = 1, ..., k (અથવા સમસ્યાનો ઉકેલ (3.1)–(3.2)) ના અવરોધો હેઠળ f 0 નું શરતી લઘુત્તમ કહેવાય છે, જો તમામ સ્વીકાર્ય બિંદુઓ માટે x f 0 (x *)  f 0 (x). (3.3)

જો (3.3) પોઈન્ટ x* ના અમુક પડોશી V x * માં પડેલા સ્વીકાર્ય x માટે જ સંતુષ્ટ છે, તો અમે સ્થાનિક શરતી લઘુત્તમ વિશે વાત કરીએ છીએ. શરતી કડક સ્થાનિક અને વૈશ્વિક મિનિમાના ખ્યાલોને કુદરતી રીતે વ્યાખ્યાયિત કરવામાં આવે છે.

ઉદાહરણ 6.8.3-1. GDS પદ્ધતિનો ઉપયોગ કરીને Q(x,y) ફંક્શનનું ન્યૂનતમ શોધો.

ચાલો Q(x,y) = x 2 +2y 2 ; x 0 = 2;y 0 = 1.

ચાલો ન્યુનત્તમના અસ્તિત્વ માટે પૂરતી શરતો તપાસીએ:

ચાલો અલ્ગોરિધમ મુજબ એક પુનરાવર્તન કરીએ.

1. Q(x 0 ,y 0) = 6.

2. x = x 0 અને y = y 0 માટે,

3. પગલું l k = l 0 = 0.5

તેથી 4< 8, следовательно, условие сходимости не выполняется и требуется, уменьшив шаг (l=l /2), повторять п.п.3-4 до выполнения условия сходимости. То есть, полученный шаг используется для нахождения следующей точки траектории спуска.

પદ્ધતિનો સાર નીચે મુજબ છે. પસંદ કરેલ બિંદુ (x 0 ,y 0) થી કિરણ સાથેના ઉદ્દેશ્ય કાર્ય Q(x, y) ના લઘુત્તમ મૂલ્ય સુધી પહોંચી ન જાય ત્યાં સુધી એન્ટિગ્રેડિયન્ટની દિશામાં ઉતરાણ કરવામાં આવે છે (ફિગ. 6.8.4-1) . મળેલા બિંદુ પર, બીમ સ્તર રેખાને સ્પર્શે છે. પછી, આ બિંદુથી, ઉતરાણ એન્ટિગ્રેડિયન્ટની દિશામાં હાથ ધરવામાં આવે છે (લેવલ લાઇન પર લંબરૂપ) જ્યાં સુધી અનુરૂપ કિરણ નવા બિંદુ પર તેમાંથી પસાર થતી સ્તર રેખાને સ્પર્શે નહીં, વગેરે.

ચાલો ઉદ્દેશ્ય કાર્ય Q(x, y) ને સ્ટેપ l ના સંદર્ભમાં વ્યક્ત કરીએ. આ કિસ્સામાં, અમે એક ચલના કાર્ય તરીકે ચોક્કસ પગલા પર લક્ષ્ય કાર્ય રજૂ કરીએ છીએ, એટલે કે. પગલું કદ

દરેક પુનરાવૃત્તિ પર પગલાનું કદ ન્યૂનતમ સ્થિતિથી નક્કી કરવામાં આવે છે:

ન્યૂનતમ((l)) l k = l*(x k , y k), l >0.

આમ, દરેક પુનરાવૃત્તિ પર, પગલું l k ની પસંદગીમાં એક-પરિમાણીય ઑપ્ટિમાઇઝેશન સમસ્યા ઉકેલવાનો સમાવેશ થાય છે. આ સમસ્યાને હલ કરવાની પદ્ધતિ અનુસાર, તેઓને અલગ પાડવામાં આવે છે:

· વિશ્લેષણાત્મક પદ્ધતિ (NAA);

સંખ્યાત્મક પદ્ધતિ (NMS).

NSA પદ્ધતિમાં, સ્ટેપ વેલ્યુ શરતમાંથી મેળવવામાં આવે છે, અને NSF પદ્ધતિમાં, મૂલ્ય l k આપેલ ચોકસાઈ સાથે સેગમેન્ટ પર જોવા મળે છે, એક-પરિમાણીય ઑપ્ટિમાઇઝેશન પદ્ધતિનો ઉપયોગ કરીને.

ઉદાહરણ 6.8.4-1. પ્રારંભિક પરિસ્થિતિઓમાં, e=0.1 ની ચોકસાઈ સાથે Q(x,y)=x 2 + 2y 2 ફંક્શનનું ન્યૂનતમ શોધો: x 0 =2; y 0 =1.

ચાલો પદ્ધતિનો ઉપયોગ કરીને એક પુનરાવર્તન કરીએ NSA.

=(x-2lx) 2 +2(y-4ly) 2 = x 2 -4lx 2 +4l 2 x 2 +2y 2 -16ly 2 +32l 2 y 2 .

¢(l)=0 સ્થિતિ પરથી આપણે l* નું મૂલ્ય શોધીએ છીએ:

પરિણામી ફંક્શન l=l(x,y) તમને l ની કિંમત શોધવા માટે પરવાનગી આપે છે. x=2 અને y=1 માટે આપણી પાસે l=0.3333 છે.

ચાલો આગળના બિંદુના કોઓર્ડિનેટ્સની ગણતરી કરીએ:

ચાલો k=1 પર પુનરાવૃત્તિઓ સમાપ્ત કરવા માટેના માપદંડની પરિપૂર્ણતા તપાસીએ:

ત્યારથી |2*0.6666|>0.1 અને |-0.3333*4|>0.1, પછી પુનરાવૃત્તિ પ્રક્રિયાને સમાપ્ત કરવાની શરતો પૂરી થતી નથી, એટલે કે. ન્યૂનતમ મળ્યું નથી. તેથી, તમારે x=x 1 અને y=y 1 માટે l ની નવી કિંમતની ગણતરી કરવી જોઈએ અને આગલા વંશ બિંદુના કોઓર્ડિનેટ્સ મેળવવા જોઈએ. વંશ સમાપ્તિની શરતો પૂરી ન થાય ત્યાં સુધી ગણતરીઓ ચાલુ રહે છે.

સંખ્યાત્મક NN પદ્ધતિ અને વિશ્લેષણાત્મક વચ્ચેનો તફાવત એ છે કે દરેક પુનરાવૃત્તિ પર l ના મૂલ્યની શોધ એક-પરિમાણીય ઑપ્ટિમાઇઝેશનની સંખ્યાત્મક પદ્ધતિઓમાંથી એકનો ઉપયોગ કરીને થાય છે (ઉદાહરણ તરીકે, દ્વિભાષી પદ્ધતિ અથવા સુવર્ણ વિભાગ પદ્ધતિ). આ કિસ્સામાં, અનુમતિપાત્ર મૂલ્યોની શ્રેણી l - અનિશ્ચિતતા અંતરાલ તરીકે સેવા આપે છે.

ફિગ.3. સૌથી ઊભો વંશ પદ્ધતિનું ભૌમિતિક અર્થઘટન. દરેક પગલા પર, તે પસંદ કરવામાં આવે છે જેથી આગામી પુનરાવર્તન એ કિરણ L પરના કાર્યનો ન્યૂનતમ બિંદુ હોય.

ઢાળ પદ્ધતિનું આ સંસ્કરણ નીચેના વિચારણાઓમાંથી પગલાની પસંદગી પર આધારિત છે. બિંદુથી આપણે એન્ટિગ્રેડિયન્ટની દિશામાં આગળ વધીશું જ્યાં સુધી આપણે આ દિશામાં ફંક્શન f ના ન્યૂનતમ સુધી પહોંચીએ, એટલે કે કિરણ પર:

બીજા શબ્દોમાં કહીએ તો, તે પસંદ કરવામાં આવે છે જેથી આગળનું પુનરાવર્તન એ કિરણ L પર ફંક્શન f નો ન્યૂનતમ બિંદુ હોય (ફિગ 3 જુઓ). ગ્રેડિયન્ટ પદ્ધતિના આ સંસ્કરણને સૌથી ઊંચો વંશ પદ્ધતિ કહેવામાં આવે છે. નોંધ કરો, માર્ગ દ્વારા, કે આ પદ્ધતિમાં નજીકના પગલાઓની દિશાઓ ઓર્થોગોનલ છે.

સૌથી ઊંચો વંશ પદ્ધતિ માટે દરેક પગલા પર એક-પરિમાણીય ઑપ્ટિમાઇઝેશન સમસ્યા હલ કરવાની જરૂર છે. પ્રેક્ટિસ બતાવે છે કે આ પદ્ધતિને સતત પગલા સાથે ઢાળ પદ્ધતિ કરતાં ઘણી વખત ઓછા ઑપરેશનની જરૂર પડે છે.

જો કે, સામાન્ય પરિસ્થિતિમાં, સૌથી ઊંચું વંશ પદ્ધતિનો સૈદ્ધાંતિક કન્વર્જન્સ રેટ સતત (શ્રેષ્ઠ) સ્ટેપ સાથેની ઢાળ પદ્ધતિના કન્વર્જન્સ દર કરતાં વધારે નથી.

સંખ્યાત્મક ઉદાહરણો

સતત પગલા સાથે ઢાળવાળી વંશ પદ્ધતિ

સતત પગલા સાથે ગ્રેડિયન્ટ ડિસેન્ટ પદ્ધતિના કન્વર્જન્સનો અભ્યાસ કરવા માટે, ફંક્શન પસંદ કરવામાં આવ્યું હતું:

પ્રાપ્ત પરિણામો પરથી, અમે નિષ્કર્ષ પર આવી શકીએ છીએ કે જો ગેપ ખૂબ મોટો હોય, તો પદ્ધતિ અલગ પડે છે, જો ગેપ ખૂબ નાનો હોય, તો તે ધીમે ધીમે કન્વર્જ થાય છે અને ચોકસાઈ વધુ ખરાબ હોય છે. તેમાંથી સૌથી મોટું પગલું પસંદ કરવું જરૂરી છે કે જેના પર પદ્ધતિ એકરૂપ થાય છે.

સ્ટેપ ડિવિઝન સાથે ગ્રેડિયન્ટ પદ્ધતિ

સ્ટેપ ડિવિઝન (2) સાથે ગ્રેડિએન્ટ ડિસેન્ટ પદ્ધતિના કન્વર્જન્સનો અભ્યાસ કરવા માટે, ફંક્શન પસંદ કરવામાં આવ્યું હતું:

પ્રારંભિક અંદાજ બિંદુ (10,10) છે.

સ્ટોપીંગ માપદંડ વપરાયેલ:

પ્રયોગના પરિણામો કોષ્ટકમાં બતાવવામાં આવ્યા છે:

પ્રાપ્ત પરિણામો પરથી, અમે પરિમાણોની શ્રેષ્ઠ પસંદગી વિશે નિષ્કર્ષ પર આવી શકીએ છીએ: , જો કે પદ્ધતિ પરિમાણોની પસંદગી માટે ખૂબ સંવેદનશીલ નથી.

સૌથી ઊભો ઉતરવાની પદ્ધતિ

સૌથી ઊંચુંનીચું થતું વંશ પદ્ધતિના કન્વર્જન્સનો અભ્યાસ કરવા માટે, નીચેનું કાર્ય પસંદ કરવામાં આવ્યું હતું:

પ્રારંભિક અંદાજ બિંદુ (10,10) છે. સ્ટોપીંગ માપદંડ વપરાયેલ:

એક-પરિમાણીય ઑપ્ટિમાઇઝેશન સમસ્યાઓ ઉકેલવા માટે, સુવર્ણ વિભાગ પદ્ધતિનો ઉપયોગ કરવામાં આવ્યો હતો.

પદ્ધતિએ 9 પુનરાવર્તનોમાં 6e-8 ની ચોકસાઈ પ્રાપ્ત કરી.

આના પરથી આપણે નિષ્કર્ષ પર આવી શકીએ છીએ કે સ્ટેપ-સ્પ્લિટ ગ્રેડિયન્ટ મેથડ અને કોન્સ્ટન્ટ-સ્ટેપ ગ્રેડિયન્ટ ડિસેન્ટ મેથડ કરતાં સ્ટીપસ્ટ ડિસેન્ટ મેથડ વધુ ઝડપથી કન્વર્જ થાય છે.

સૌથી ઊંચો વંશ પદ્ધતિનો ગેરલાભ એ છે કે તેને એક-પરિમાણીય ઑપ્ટિમાઇઝેશન સમસ્યા હલ કરવાની જરૂર છે.

જ્યારે પ્રોગ્રામિંગ ગ્રેડિયન્ટ ડિસેન્ટ પદ્ધતિઓ, તમારે પરિમાણો પસંદ કરતી વખતે સાવચેત રહેવું જોઈએ, એટલે કે

• · સતત સ્ટેપ સાથે ગ્રેડિયન્ટ ડિસેન્ટ પદ્ધતિ: પગલું 0.01 કરતા ઓછું પસંદ કરવું જોઈએ, અન્યથા પદ્ધતિ અલગ પડે છે (અભ્યાસ કરવામાં આવી રહેલા કાર્યના આધારે, આવા પગલા સાથે પણ પદ્ધતિ અલગ પડી શકે છે).
• સ્ટેપ ડિવિઝન સાથેની ઢાળ પદ્ધતિ પરિમાણોની પસંદગી માટે ખૂબ સંવેદનશીલ નથી. પરિમાણો પસંદ કરવા માટેના વિકલ્પોમાંથી એક:
• · સૌથી ઊંચો વંશ પદ્ધતિ: સુવર્ણ ગુણોત્તર પદ્ધતિ (જ્યારે લાગુ હોય ત્યારે) એક-પરિમાણીય ઑપ્ટિમાઇઝેશન પદ્ધતિ તરીકે ઉપયોગ કરી શકાય છે.

કન્જુગેટ ગ્રેડિયન્ટ પદ્ધતિ એ બહુપરીમાણીય જગ્યામાં બિનશરતી ઑપ્ટિમાઇઝેશન માટે પુનરાવર્તિત પદ્ધતિ છે. પદ્ધતિનો મુખ્ય ફાયદો એ છે કે તે મર્યાદિત સંખ્યામાં પગલાઓમાં ચતુર્ભુજ ઑપ્ટિમાઇઝેશન સમસ્યાને હલ કરે છે. તેથી, પ્રથમ ચતુર્ભુજ કાર્યાત્મકને ઑપ્ટિમાઇઝ કરવા માટે સંયોજક ઢાળ પદ્ધતિ વર્ણવવામાં આવે છે, પુનરાવર્તિત સૂત્રો લેવામાં આવે છે, અને કન્વર્જન્સ દરના અંદાજો આપવામાં આવે છે. આ પછી, તે બતાવવામાં આવે છે કે કેવી રીતે સંલગ્ન પદ્ધતિને મનસ્વી કાર્યાત્મક ઑપ્ટિમાઇઝ કરવા માટે સામાન્યીકરણ કરવામાં આવે છે, પદ્ધતિના વિવિધ પ્રકારો ધ્યાનમાં લેવામાં આવે છે, અને કન્વર્જન્સની ચર્ચા કરવામાં આવે છે.

ઑપ્ટિમાઇઝેશન સમસ્યાનું નિવેદન

ચાલો સેટ આપીએ અને આ સેટ પર એક ઉદ્દેશ્ય કાર્ય વ્યાખ્યાયિત કરીએ. ઑપ્ટિમાઇઝેશન સમસ્યામાં સેટ પર ઉદ્દેશ્ય કાર્યની ચોક્કસ ઉપલા અથવા ચોક્કસ નીચલા બાઉન્ડ શોધવાનો સમાવેશ થાય છે. બિંદુઓનો સમૂહ કે જેના પર ઉદ્દેશ્ય કાર્યની નીચલી સીમા પહોંચી છે તે નિયુક્ત કરવામાં આવે છે.

જો, પછી ઑપ્ટિમાઇઝેશન સમસ્યાને અનિયંત્રિત કહેવામાં આવે છે. જો, પછી ઑપ્ટિમાઇઝેશન સમસ્યાને અવરોધિત કહેવામાં આવે છે.

ચતુર્ભુજ કાર્યાત્મક માટે સંયોજિત ઢાળ પદ્ધતિ

પદ્ધતિનું નિવેદન

નીચેની ઑપ્ટિમાઇઝેશન સમસ્યાને ધ્યાનમાં લો:

અહીં એક સપ્રમાણ હકારાત્મક ચોક્કસ માપ મેટ્રિક્સ છે. આ ઑપ્ટિમાઇઝેશન સમસ્યાને ચતુર્ભુજ કહેવામાં આવે છે. તેની નોંધ લો. ફંક્શનના એક્સ્ટ્રીમમ માટેની શરત સિસ્ટમની સમકક્ષ છે. ફંક્શન સમીકરણ દ્વારા વ્યાખ્યાયિત એક બિંદુ પર તેની નીચલા બાઉન્ડ સુધી પહોંચે છે. આમ, આ ઓપ્ટિમાઇઝેશન સમસ્યા રેખીય સમીકરણોની સિસ્ટમને હલ કરવા માટે ઓછી થાય છે, સંયોજક ઢાળ પદ્ધતિનો વિચાર નીચે મુજબ છે: ચાલો આધાર બનાવીએ. પછી કોઈપણ બિંદુ માટે વેક્ટરને આધારમાં વિસ્તૃત કરવામાં આવે છે આમ, તેને ફોર્મમાં રજૂ કરી શકાય છે

દરેક અનુગામી અંદાજ સૂત્રનો ઉપયોગ કરીને ગણવામાં આવે છે:

વ્યાખ્યા. બે વેક્ટર અને સપ્રમાણ મેટ્રિક્સ B જો માટે સંયોજક હોવાનું કહેવાય છે

ચાલો સંયોજક ઢાળ પદ્ધતિમાં આધાર બાંધવાની પદ્ધતિનું વર્ણન કરીએ અમે પ્રારંભિક અંદાજ તરીકે આર્બિટરી વેક્ટર પસંદ કરીએ છીએ. દરેક પુનરાવર્તન પર નીચેના નિયમો પસંદ કરવામાં આવે છે:

આધાર વેક્ટરની ગણતરી સૂત્રોનો ઉપયોગ કરીને કરવામાં આવે છે:

ગુણાંક પસંદ કરવામાં આવે છે જેથી વેક્ટર અને A ના સંદર્ભમાં સંયોજિત હોય.

જો આપણે દ્વારા સૂચવીએ છીએ, તો પછી ઘણી સરળીકરણો પછી આપણે વ્યવહારમાં સંયોજક ઢાળ પદ્ધતિ લાગુ કરતી વખતે ઉપયોગમાં લેવાતા અંતિમ સૂત્રો મેળવીએ છીએ:

સંયોજક ઢાળ પદ્ધતિ માટે, નીચેનું પ્રમેય ધરાવે છે: પ્રમેય ચાલો, જ્યાં કદનું સપ્રમાણ હકારાત્મક નિશ્ચિત મેટ્રિક્સ છે. પછી કન્જુગેટ ગ્રેડિયન્ટ પદ્ધતિ પગલાંઓ કરતાં વધુ નહીં અને નીચેના સંબંધો ધરાવે છે:

પદ્ધતિનું કન્વર્જન્સ

જો બધી ગણતરીઓ સચોટ હોય અને પ્રારંભિક ડેટા સચોટ હોય, તો પદ્ધતિ પુનરાવર્તિત કરતાં વધુમાં સિસ્ટમને હલ કરવા માટે કન્વર્જ થાય છે, સિસ્ટમનું પરિમાણ ક્યાં છે. વધુ શુદ્ધ પૃથ્થકરણ દર્શાવે છે કે પુનરાવૃત્તિની સંખ્યા ઓળંગતી નથી, જ્યાં મેટ્રિક્સ A ના વિવિધ ઇજનવેલ્યુની સંખ્યા છે. કન્વર્જન્સના દરનો અંદાજ કાઢવા માટે, નીચેનો (બદલે રફ) અંદાજ સાચો છે:

જો મેટ્રિક્સના મહત્તમ અને ન્યૂનતમ ઇજેનવેલ્યુ માટેના અંદાજો જાણીતા હોય, તો તે તમને કન્વર્જન્સના દરનો અંદાજ કાઢવાની મંજૂરી આપે છે, વ્યવહારમાં, નીચેના સ્ટોપિંગ માપદંડનો મોટાભાગે ઉપયોગ થાય છે:

કોમ્પ્યુટેશનલ જટિલતા

પદ્ધતિના દરેક પુનરાવર્તન પર, કામગીરી કરવામાં આવે છે. ઉત્પાદનની ગણતરી કરવા માટે આ સંખ્યાની કામગીરી જરૂરી છે - દરેક પુનરાવર્તનમાં આ સૌથી વધુ સમય લેતી પ્રક્રિયા છે. અન્ય ગણતરીઓ માટે O(n) કામગીરીની જરૂર પડે છે. પદ્ધતિની કુલ કોમ્પ્યુટેશનલ જટિલતા ઓળંગતી નથી - કારણ કે પુનરાવર્તનોની સંખ્યા n કરતાં વધુ નથી.

સંખ્યાત્મક ઉદાહરણ

ચાલો આપણે એવી સિસ્ટમને ઉકેલવા માટે કન્જુગેટ ગ્રેડિયન્ટ પદ્ધતિ લાગુ કરીએ જ્યાં, સંયોજક ઢાળ પદ્ધતિનો ઉપયોગ કરીને, આ સિસ્ટમનો ઉકેલ બે પુનરાવર્તનોમાં મેળવવામાં આવે છે. મેટ્રિક્સના ઇજેનવેલ્યુ 5, 5, -5 છે - તેમાંથી બે અલગ અલગ છે, તેથી, સૈદ્ધાંતિક અંદાજ મુજબ, પુનરાવર્તનોની સંખ્યા બે કરતા વધી શકતી નથી

સકારાત્મક નિશ્ચિત મેટ્રિક્સ સાથે SLAE ને ઉકેલવા માટેની સૌથી અસરકારક પદ્ધતિઓમાંની એક સંયોજક ઢાળ પદ્ધતિ છે. પદ્ધતિ મર્યાદિત સંખ્યામાં પગલાઓમાં સંકલનની બાંયધરી આપે છે, અને જરૂરી ચોકસાઈ ઘણી વહેલી પ્રાપ્ત કરી શકાય છે. મુખ્ય સમસ્યા એ છે કે ભૂલોના સંચયને કારણે, બેઝિસ વેક્ટર્સની ઓર્થોગોનાલિટીનું ઉલ્લંઘન થઈ શકે છે, જે કન્વર્જન્સને બગાડે છે.

સામાન્ય રીતે સંયોજિત ઢાળ પદ્ધતિ

ચાલો હવે જ્યારે લઘુત્તમ કાર્યાત્મક ચતુર્ભુજ ન હોય તેવા કેસ માટે સંયોજક ઢાળ પદ્ધતિમાં ફેરફારને ધ્યાનમાં લઈએ: અમે સમસ્યા હલ કરીશું:

સતત વિભેદક કાર્ય. આ સમસ્યાને ઉકેલવા માટે સંયોજક ઢાળ પદ્ધતિને સંશોધિત કરવા માટે, મેટ્રિક્સ A નો સમાવેશ કરતા નથી તેવા સૂત્રો મેળવવા જરૂરી છે:

ત્રણમાંથી એક સૂત્રનો ઉપયોગ કરીને ગણતરી કરી શકાય છે:

1. - ફ્લેચર-રીવ્ઝ પદ્ધતિ

• 2. - પોલાક-રીબી`રે પદ્ધતિ

જો કાર્ય ચતુર્ભુજ અને સખત રીતે બહિર્મુખ હોય, તો ત્રણેય સૂત્રો સમાન પરિણામ આપે છે. જો એક મનસ્વી કાર્ય છે, તો પછી દરેક સૂત્ર સંયોજક ઢાળ પદ્ધતિના પોતાના ફેરફારને અનુરૂપ છે. ત્રીજા સૂત્રનો ભાગ્યે જ ઉપયોગ થાય છે કારણ કે તેને પદ્ધતિના દરેક પગલા પર ફંક્શન અને ફંક્શનના હેસિયનની ગણતરીની જરૂર છે.

જો ફંક્શન ચતુર્ભુજ ન હોય, તો સંયોજક ઢાળ પદ્ધતિ મર્યાદિત સંખ્યામાં પગલાંઓમાં એકરૂપ થઈ શકશે નહીં. તદુપરાંત, દરેક પગલા પર સચોટ ગણતરી ફક્ત દુર્લભ કિસ્સાઓમાં જ શક્ય છે. તેથી, ભૂલોનું સંચય એ હકીકત તરફ દોરી જાય છે કે વેક્ટર્સ હવે કાર્યના ઘટાડાની દિશા સૂચવતા નથી. પછી અમુક તબક્કે તેઓ માને છે. તમામ સંખ્યાઓનો સમૂહ કે જેના પર તે સ્વીકારવામાં આવે છે તે દ્વારા સૂચિત કરવામાં આવશે. નંબરોને મેથડ અપડેટ મોમેન્ટ્સ કહેવામાં આવે છે. વ્યવહારમાં, તે ઘણીવાર પસંદ કરવામાં આવે છે કે જગ્યાનું પરિમાણ ક્યાં છે.

પદ્ધતિનું કન્વર્જન્સ

ફ્લેચર-રીવ્ઝ પદ્ધતિ માટે, એક કન્વર્જન્સ પ્રમેય છે જે ફંક્શનને ન્યૂનતમ કરવા પર ખૂબ કડક શરતો લાદતું નથી: પ્રમેય. નીચેની શરતોને સંતોષવા દો:

વિવિધતા મર્યાદિત છે

વ્યુત્પન્ન અમુક પડોશમાં સ્થિરતા સાથે લિપ્સિટ્ઝની સ્થિતિને સંતોષે છે

સેટ M: .

પોલાક-રીબર પદ્ધતિ માટે, કન્વર્જન્સ એ ધારણા હેઠળ સાબિત થાય છે કે જે સખત રીતે બહિર્મુખ કાર્ય છે. સામાન્ય કિસ્સામાં, પોલાક-રીબર પદ્ધતિના સંકલનને સાબિત કરવું અશક્ય છે. તેનાથી વિપરીત, નીચેનું પ્રમેય સાચું છે: પ્રમેય. ચાલો ધારીએ કે પોલાક-રીબર પદ્ધતિમાં દરેક પગલા પરના મૂલ્યોની બરાબર ગણતરી કરવામાં આવે છે. પછી ત્યાં એક કાર્ય છે, અને પ્રારંભિક અનુમાન, જેમ કે.

જો કે, વ્યવહારમાં પોલાક-રીબર પદ્ધતિ વધુ સારી રીતે કામ કરે છે. વ્યવહારમાં સૌથી સામાન્ય સ્ટોપિંગ માપદંડ: ગ્રેડિયન્ટ નોર્મ ચોક્કસ થ્રેશોલ્ડ કરતા ઓછો થઈ જાય છે. m સળંગ પુનરાવર્તનો માટે ફંક્શનનું મૂલ્ય લગભગ યથાવત રહ્યું છે.

કોમ્પ્યુટેશનલ જટિલતા

પોલાક-રીબર અથવા ફ્લેચર-રીવ્સ પદ્ધતિઓના દરેક પુનરાવૃત્તિ પર, કાર્ય અને તેના ઢાળની ગણતરી એકવાર કરવામાં આવે છે, અને એક-પરિમાણીય ઑપ્ટિમાઇઝેશન સમસ્યા હલ થાય છે. આમ, કન્જુગેટ ગ્રેડિયન્ટ મેથડના એક સ્ટેપની જટિલતા એ જ ક્રમની તીવ્રતાના ક્રમની છે જેટલી સ્ટીપ ડિસેન્ટ પદ્ધતિના એક સ્ટેપની જટિલતા છે. વ્યવહારમાં, સંયોજક ઢાળ પદ્ધતિ શ્રેષ્ઠ કન્વર્જન્સ ઝડપ દર્શાવે છે.

અમે કન્જુગેટ ગ્રેડિયન્ટ મેથડનો ઉપયોગ કરીને ન્યૂનતમ ફંક્શન શોધીશું

આ ફંક્શનનું ન્યૂનતમ 1 છે અને તે બિંદુ (5, 4) પર પહોંચે છે. ઉદાહરણ તરીકે આ ફંક્શનનો ઉપયોગ કરીને, ચાલો પોલાક-રીબર અને ફ્લેચર-રીવ્ઝ પદ્ધતિઓની તુલના કરીએ. જ્યારે વર્તમાન સ્ટેપ પર ઢાળનો ચોરસ ધોરણ નાનો બને છે ત્યારે બંને પદ્ધતિઓમાં પુનરાવર્તનો બંધ થાય છે. પસંદગી માટે ગોલ્ડન રેશિયો પદ્ધતિનો ઉપયોગ થાય છે

સંયોજક ઢાળ પદ્ધતિના બે સંસ્કરણો અમલમાં મૂકવામાં આવ્યા છે: ચતુર્ભુજ કાર્યાત્મકને ઘટાડવા માટે, અને મનસ્વી કાર્યને ઘટાડવા માટે. પ્રથમ કિસ્સામાં, પદ્ધતિ વેક્ટર કાર્ય દ્વારા લાગુ કરવામાં આવે છે શોધ ઉકેલ(મેટ્રિક્સ એ, વેક્ટર b) અહીં A અને b એ ચતુર્ભુજ ઑપ્ટિમાઇઝેશન સમસ્યાની વ્યાખ્યામાં સામેલ મેટ્રિક્સ અને વેક્ટર છે. મનસ્વી કાર્યક્ષમતાને ઘટાડવા માટે, તમે બેમાંથી એક ફંક્શનનો ઉપયોગ કરી શકો છો: વેક્ટર FletcherRievesMethod(int spaceSize, Function F, વેક્ટર (*GradF) (વેક્ટર )) વેક્ટર PolakRibiereMethod(int spaceSize, function F, વેક્ટર (*GradF) (વેક્ટર )) બંને કાર્યો માટેના પરિમાણો સમાન છે અને તેનો નીચેનો અર્થ છે: spaceSize - જગ્યાનું પરિમાણ (ચલોની સંખ્યા કે જેના પર ન્યૂનતમ કાર્યાત્મક આધાર રાખે છે) F - લઘુત્તમ કરવા માટેના ફંક્શન માટે એક નિર્દેશક. કાર્ય ડબલ સ્વરૂપનું હોવું જોઈએ<имя функции>(વેક્ટર ) ગ્રાડએફ - એક પરિમાણીય ઑપ્ટિમાઇઝેશન સમસ્યાને ઉકેલવા માટે બંને પદ્ધતિઓ સહાયક કાર્યનો ઉપયોગ કરે છે જે લઘુત્તમ કાર્યાત્મકના ઢાળની ગણતરી કરે છે. પ્રોગ્રામ ગોલ્ડન સેક્શન પદ્ધતિનો ઉપયોગ કરીને એક-પરિમાણીય ઑપ્ટિમાઇઝેશનનો અમલ કરે છે.

ઑપ્ટિમાઇઝેશન સમસ્યાઓ ઉકેલવા માટે ગ્રેડિયન્ટ ડિસેન્ટ પદ્ધતિઓ ખૂબ શક્તિશાળી સાધનો છે. પદ્ધતિઓનો મુખ્ય ગેરલાભ એ લાગુ કરવાની મર્યાદિત શ્રેણી છે. કન્જુગેટ ગ્રેડિયન્ટ મેથડ ગ્રેડિયન્ટ ડિસેન્ટ મેથડની જેમ જ એક બિંદુ પર ઇન્ક્રીમેન્ટના રેખીય ભાગ વિશેની માહિતીનો ઉપયોગ કરે છે. તદુપરાંત, સંયોજક ઢાળ પદ્ધતિ તમને મર્યાદિત સંખ્યામાં પગલાઓમાં ચતુર્ભુજ સમસ્યાઓ હલ કરવાની મંજૂરી આપે છે. અન્ય ઘણી સમસ્યાઓ પર, કન્જુગેટ ગ્રેડિયન્ટ મેથડ પણ ગ્રેડિયન્ટ ડિસેન્ટ મેથડ કરતાં આગળ છે. એક-પરિમાણીય ઑપ્ટિમાઇઝેશન સમસ્યાને કેટલી સચોટ રીતે હલ કરવામાં આવે છે તેના પર ઢાળ પદ્ધતિનું કન્વર્જન્સ નોંધપાત્ર રીતે આધાર રાખે છે. સંભવિત પદ્ધતિ લૂપ્સ અપડેટ્સનો ઉપયોગ કરીને ઉકેલવામાં આવે છે. જો કે, જો કોઈ પદ્ધતિ સ્થાનિક ન્યૂનતમ કાર્યમાં પ્રવેશ કરે છે, તો તે મોટે ભાગે તેમાંથી છટકી શકશે નહીં.