En dik iniş yöntemini kullanarak fonksiyonun durağan noktasını bulun. En dik iniş yöntemi

Hizmetin amacı. Bulmak için kullanılan çevrimiçi hesap makinesi minimum fonksiyon en dik iniş yöntemi veya Cauchy yöntemi(örneğe bakın). Çözüm Word formatında hazırlanmıştır.

Bir işleve girme kuralları

İÇİNDE en dik iniş yöntemi yönü, ▽f(x) fonksiyonunun gradyan vektörünün yönünün tersi olan bir vektör, arama yönü olarak seçilir. Matematiksel analizlerden, grad f(x)=▽f(x) vektörünün fonksiyondaki en hızlı artışın yönünü karakterize ettiği bilinmektedir (fonksiyonun gradyanına bakınız). Bu nedenle - grad f (X) = -▽f(X) vektörüne denir anti-gradyan ve en hızlı düşüş yönüdür. En dik iniş yönteminin uygulandığı yineleme ilişkisi şu şekildedir: X k +1 =X k - λ k ▽f(x k), k = 0,1,...,
burada λ k >0 adım boyutudur. Adım boyutu seçimine bağlı olarak degrade yöntemi için farklı seçenekler elde edebilirsiniz. Optimizasyon işlemi sırasında adım boyutu λ sabitse, bu yönteme ayrı adımlı gradyan yöntemi adı verilir. λ k =min f(X k + λS k) koşulundan λ k seçilirse, ilk yinelemelerdeki optimizasyon süreci önemli ölçüde hızlandırılabilir.
λk'yi belirlemek için herhangi bir tek boyutlu optimizasyon yöntemi kullanılır. Bu durumda yönteme en dik iniş yöntemi denir. Kural olarak, genel durumda, fonksiyonun minimumunu elde etmek için bir adım yeterli değildir; sonraki hesaplamalar sonucu iyileştirinceye kadar süreç tekrarlanır.
Eğer uzay bazı değişkenlerde çok uzamışsa o zaman bir “dağ geçidi” oluşur. Arama yavaşlayabilir ve "dağ geçidinin" dibinde zikzak çizebilir. Bazen kabul edilebilir bir zaman diliminde çözüme ulaşılamayabilir.
Yöntemin diğer bir dezavantajı ||▽f(X k)|| durdurma kriteri olabilir.<ε k , так как этому условию удовлетворяет и седловая точка, а не только оптимум.

Örnek. Fonksiyonu en aza indirmek için x k =(-2, 3) noktasından başlayarak, en dik iniş yöntemini kullanarak x k +1 noktasını belirleyin.
Arama yönü olarak geçerli noktadaki gradyan vektörünü seçin

Durdurma kriterini kontrol edelim. Sahibiz
Fonksiyonun değerini f(X 1) = 35 başlangıç noktasında hesaplayalım.
antigradyan yön boyunca adım atın

Fonksiyonun değerini yeni bir noktada hesaplayalım
f(X 2) = 3(-2 + 19λ 1) 2 + (3-8λ 1) 2 - (-2 + 19λ 1)(3-8λ 1) - 4(-2 + 19λ 1)
Bu doğrultuda amaç fonksiyonunun minimuma ulaşacağı bir adım bulalım. Fonksiyonun bir ekstremumunun varlığı için gerekli koşuldan
f’(X 2) = 6(-2 + 19λ 1) 19 + 2(3-8λ 1)(-8) – (73 - 304 λ 1) – 4*19
veya f'(X 2) = 2598 λ 1 – 425 = 0.
λ 1 = 0,164 adımını elde ederiz
Bu adımı tamamlamak şu noktaya yol açacaktır

burada gradyan değeri , fonksiyon değeri f(X 2) = 0,23. Antigradyan yönünde bir adım attığımız noktadan itibaren doğruluk elde edilmez.

f(X 2) = 3(1,116 – 1,008λ 1) 2 + (1,688-2,26λ 1) 2 - (1,116 – 1,008λ 1)(1,688-2,26λ 1) - 4(1,116 – 1,008λ 1)
f'(X 2) = 11,76 – 6,12λ 1 = 0
λ 1 = 0,52 elde ederiz

Örnek 6.8.3-1. Q(x,y) fonksiyonunun minimumunu GDS yöntemini kullanarak bulun.

Q(x,y) = x 2 +2y 2 olsun; x 0 = 2; y 0 = 1.

Minimumun varlığı için yeterli koşulları kontrol edelim:

Algoritmaya göre bir yineleme yapalım.

1. Q(x 0 ,y 0) = 6.

2. x = x 0 ve y = y 0 için,

3. Adım l k = l 0 = 0,5

Yani 4< 8, следовательно, условие сходимости не выполняется и требуется, уменьшив шаг (l=l /2), повторять п.п.3-4 до выполнения условия сходимости. То есть, полученный шаг используется для нахождения следующей точки траектории спуска.

Yöntemin özü aşağıdaki gibidir. Seçilen noktadan (x 0 ,y 0), ışın boyunca Q(x, y) amaç fonksiyonunun minimum değerine ulaşılana kadar antigradyan yönünde alçalma gerçekleştirilir (Şekil 6.8.4-1) . Bulunan noktada ışın seviye çizgisine temas eder. Daha sonra, bu noktadan itibaren, karşılık gelen ışın içinden geçen seviye çizgisine yeni bir noktada vb. değene kadar antigradyan yönünde (seviye çizgisine dik) iniş gerçekleştirilir.

Q(x, y) amaç fonksiyonunu l adımı cinsinden ifade edelim. Bu durumda, hedef fonksiyonu belirli bir adımda tek bir değişkenin fonksiyonu olarak sunuyoruz; adım boyutu

Her yinelemedeki adım boyutu minimum koşuldan belirlenir:

Min( (l)) l k = l*(x k , y k), l >0.

Böylece, her yinelemede, l k adımının seçimi tek boyutlu bir optimizasyon probleminin çözülmesini içerir. Bu sorunu çözme yöntemine göre ayırt edilirler:

· analitik yöntem (NAA);

· sayısal yöntem (NMS).

NSA yönteminde koşuldan adım değeri elde edilirken, NSF yönteminde tek boyutlu optimizasyon yöntemlerinden biri kullanılarak belirli bir doğrulukla bir segment üzerinde l k değeri bulunur.

Örnek 6.8.4-1. Başlangıç koşulları altında Q(x,y)=x 2 + 2y 2 fonksiyonunun minimumunu e=0,1 doğruluğuyla bulun: x 0 =2; y 0 =1.

Yöntemi kullanarak bir yineleme yapalım NSA.

=(x-2lx) 2 +2(y-4ly) 2 = x 2 -4lx 2 +4l 2 x 2 +2y 2 -16ly 2 +32l 2 y 2 .

¢(l)=0 koşulundan l*: değerini buluruz

Ortaya çıkan l=l(x,y) fonksiyonu l'nin değerini bulmanızı sağlar. x=2 ve y=1 için l=0,3333 elde ederiz.

Bir sonraki noktanın koordinatlarını hesaplayalım:

Yinelemeleri k=1'de sonlandırma kriterinin yerine getirilip getirilmediğini kontrol edelim:

|2*0.6666|>0.1 ve |-0.3333*4|>0.1 olduğundan, yineleme sürecini sonlandırma koşulları karşılanmaz, yani. minimum bulunamadı. Bu nedenle x=x 1 ve y=y 1 için yeni l değerini hesaplamalı ve bir sonraki iniş noktasının koordinatlarını almalısınız. İniş sonlandırma koşulları sağlanana kadar hesaplamalara devam edilir.

Sayısal NN yöntemi ile analitik yöntem arasındaki fark, her yinelemede l değerinin aranmasının, tek boyutlu optimizasyonun sayısal yöntemlerinden biri (örneğin, dikotomi yöntemi veya altın bölüm yöntemi) kullanılarak gerçekleşmesidir. Bu durumda, izin verilen değer aralığı l - belirsizlik aralığı görevi görür.

Türevlenebilir fonksiyonun f(x) noktasındaki gradyanı X isminde N boyutlu vektör f(x) bileşenleri fonksiyonun kısmi türevleri olan f(x), noktada hesaplanır X yani

f"(x ) = (df(x)/dh 1 , …, df(x)/dx n) T .

Bu vektör noktadan geçen düzleme diktir X ve fonksiyonun düz yüzeyine teğet f(x), bir noktadan geçmek X.Böyle bir yüzeyin her noktasında fonksiyon f(x) aynı değeri alır. Fonksiyonu çeşitli sabit değerlere eşitleyerek C 0 , C 1 , ..., topolojisini karakterize eden bir dizi yüzey elde ederiz (Şekil 2.8).

Pirinç. 2.8. Gradyan

Gradyan vektörü, belirli bir noktada fonksiyondaki en hızlı artış yönünde yönlendirilir. Degradenin karşısındaki vektör (-f’(x)) , isminde anti-gradyan ve fonksiyonun en hızlı azalmasına yöneliktir. Minimum noktada fonksiyonun gradyanı sıfırdır. Gradyan ve minimizasyon yöntemleri olarak da adlandırılan birinci dereceden yöntemler, gradyanların özelliklerine dayanır. Genel durumda bu yöntemlerin kullanılması, bir fonksiyonun yerel minimum noktasını belirlemenize olanak tanır.

Açıkçası, eğer ek bilgi yoksa, o zaman başlangıç noktasından itibaren X konuya girmek akıllıca olur X, antigradyan yönünde uzanmak - fonksiyonun en hızlı azalması. İniş yönü olarak seçim[R k ] anti-gradyan - f'(x ) [k] X[R bu noktada

], formun yinelemeli bir sürecini elde ederiz X[ 1] = k+[R]-X f'(x ) , a k f"(x > 0; R=0, 1, 2, ...

ve k

Koordinat formunda bu süreç şu şekilde yazılır: R+1]=x ben [[R] - x benf(x f'(x ) bir k

/x ben N; R= 0, 1, 2,...

ben = 1, ..., k+[R Yinelemeli süreci durdurmanın bir kriteri olarak, || argümanının küçük bir artış koşulunun yerine getirilmesi. +l][R] || <= e , либо выполнение условия малости градиента

|| -X[R f'(x ) || <= g ,

+l]

Belirtilen koşulların eşzamanlı olarak yerine getirilmesinden oluşan birleşik bir kriter de mümkündür. Gradyan yöntemleri adım boyutunu seçme şekli bakımından birbirinden farklılık gösterir a k f"(x.

Sabit adımlı yöntemde tüm yinelemeler için belirli bir sabit adım değeri seçilir. Oldukça küçük bir adım a k f"(x fonksiyonun yani eşitsizliğin azalmasını sağlayacaktır

f(x[ R+1]) = f(x[k] – a k f’(x f'(x )) < f(x f'(x ) .

Ancak bu, minimum noktaya ulaşmak için kabul edilemeyecek kadar çok sayıda yineleme yapılması ihtiyacına yol açabilir. Öte yandan çok büyük bir adım, fonksiyonda beklenmeyen bir artışa neden olabilir veya minimum nokta etrafında salınımlara (döngü) yol açabilir. Adım büyüklüğünün seçimi için gerekli bilginin elde edilmesinin zorluğu nedeniyle, sabit adımlı yöntemler pratikte nadiren kullanılmaktadır.

Degrade olanlar yineleme sayısı ve güvenilirlik açısından daha ekonomiktir değişken adım yöntemleri, hesaplamaların sonuçlarına bağlı olarak adım boyutu bir şekilde değiştiğinde. Pratikte kullanılan bu tür yöntemlerin çeşitlerini ele alalım.

Her yinelemede en dik iniş yöntemini kullanırken adım boyutu a k f"(x fonksiyonun minimum koşulundan seçilir f(x) iniş yönünde, yani
f(x[R]–ak f’(x[R])) = f(x f'(x – af"(x[R])) .

Bu durum, antigradyan boyunca hareketin, fonksiyonun değeri olduğu sürece meydana geldiği anlamına gelir. f(x) azalır. Matematiksel açıdan bakıldığında, her yinelemede tek boyutlu minimizasyon probleminin şu şekilde çözülmesi gerekir: A işlevler
J (A) = f(x[R]-af"(x[R])) .

En dik iniş yönteminin algoritması aşağıdaki gibidir.

1. Başlangıç noktasının koordinatlarını ayarlayın X.

2. Bu noktada X[R], k = 0, 1, 2, ... gradyan değerini hesaplar -X[R]) .

3. Adım boyutu belirlenir A k, tek boyutlu minimizasyonla A işlevler j (A) = f(x[R]-af"(x[R])).

4. Noktanın koordinatları belirlenir X[X[ 1]:

x ben [ X[ 1]= x ben[R]– a k f’ i (x[R]), i = 1,..., s.

5. Sterilizasyon işleminin durdurulması koşulları kontrol edilir. Bunlar yerine getirilirse hesaplamalar durur. Aksi halde 1. adıma geçin.

Karmaşık bir fonksiyonun türevini hesapladıktan sonra, iniş yönleri vektörlerinin komşu noktalardaki diklik koşulunu elde ederiz: DJ[X[ 1]-X[R]) = 0.

(a)/da = -f’(x

Gradyan yöntemleri, düzgün dışbükey fonksiyonlar için yüksek hızda (geometrik ilerleme hızı) minimuma yakınsar. Bu tür işlevler en büyük M ve en azından M ikinci türevler matrisinin özdeğerleri (Hessian matrisi)

birbirinden çok az farklılık gösterir, yani matris N(x) iyi şartlandırılmış. Özdeğerlerin l i olduğunu hatırlayın, Ben =1, …, N matrisler karakteristik denklemin kökleridir

Bununla birlikte, pratikte, kural olarak, minimize edilen fonksiyonlar, ikinci türevlerin kötü koşullandırılmış matrislerine sahiptir. (t/ay<< 1). Bu tür fonksiyonların bazı yönlerdeki değerleri diğer yönlere göre çok daha hızlı (bazen birkaç büyüklük sırasına göre) değişir. En basit durumda düz yüzeyleri oldukça uzundur (Şekil 2.10) ve daha karmaşık durumlarda bükülür ve vadilere benzerler. Bu özelliklere sahip fonksiyonlara denir oluk. Bu fonksiyonların antigradyan yönü (bkz. Şekil 2.10), minimum noktaya doğru önemli ölçüde sapar, bu da yakınsama hızının yavaşlamasına yol açar.

Pirinç. 2.10. Oluk fonksiyonu

Gradyan yöntemlerinin yakınsama oranı aynı zamanda gradyan hesaplamalarının doğruluğuna da önemli ölçüde bağlıdır. Genellikle minimum noktaların yakınında veya bir su birikintisi durumunda meydana gelen doğruluk kaybı, genellikle gradyan iniş sürecinin yakınsamasını bozabilir. X Yukarıdaki nedenlerden dolayı, gradyan yöntemleri genellikle bir problemin çözümünün ilk aşamasında diğer daha etkili yöntemlerle birlikte kullanılır. Bu durumda asıl nokta

minimum noktadan uzaktır ve antigradyan yönündeki adımlar, fonksiyonda önemli bir azalma elde edilmesini mümkün kılar.

Yukarıda tartışılan gradyan yöntemleri, genel durumda bir fonksiyonun minimum noktasını yalnızca sonsuz sayıda yinelemede bulur. Eşlenik gradyan yöntemi, küçültülmekte olan fonksiyonun geometrisiyle daha tutarlı arama yönleri üretir. Bu, yakınsama hızını önemli ölçüde artırır ve örneğin ikinci dereceden fonksiyonun en aza indirilmesine olanak tanır.

f(x) = (x, Hx) + (b, x) + a simetrik pozitif tanımlı bir matris ile N sınırlı sayıda adımda P,

fonksiyon değişkenlerinin sayısına eşittir. N Minimum noktaya yakın herhangi bir düzgün fonksiyona ikinci dereceden bir fonksiyonla iyi bir şekilde yaklaşılabilir, bu nedenle eşlenik gradyan yöntemleri ikinci dereceden olmayan fonksiyonları en aza indirmek için başarıyla kullanılır. Bu durumda sonlu olmaktan çıkıp yinelemeli hale gelirler. X Tanım gereği iki boyutlu vektör Ve en matrise göre H(veya H-eşlenik), eğer skaler çarpım ise (X, Peki) = 0. Burada N - büyüklüğün simetrik pozitif tanımlı matrisi N X P.

Eşlenik gradyan yöntemlerindeki en önemli sorunlardan biri, yönlerin verimli bir şekilde oluşturulması sorunudur. Fletcher-Reeves yöntemi, her adımda antigradiyenti dönüştürerek bu sorunu çözer. -f(x[R]) yönde P[R], H-önceden bulunan yönlerle birleşin İniş yönü olarak seçim, İniş yönü olarak seçim, ..., İniş yönü olarak seçim[R-1].

Öncelikle bu yöntemi ikinci dereceden bir fonksiyonun en aza indirilmesi problemiyle ilişkili olarak ele alalım. İniş yönü olarak seçim[R Yol Tarifi

] aşağıdaki formüller kullanılarak hesaplanır: R] = --X[R]) P[ P[R+b k-1 R>= 1;

-l], p = -’(X) .

F R b değerleri P[R], İniş yönü olarak seçim[R-1 yönler olacak şekilde seçilir H-1] vardı :

(P[R], -eşlenik[HP 1])= 0.

Sonuç olarak, ikinci dereceden fonksiyon için

yinelemeli minimizasyon süreci şu şekildedir R f'(x X[[R]=x[R],

+ak p İniş yönü olarak seçim[R] - Nerede HP iniş yönü m adım; ve k - adım boyutu.İkincisi, fonksiyonun minimum koşulundan seçilir A f(x)

f(x[ R] + İle[R]) = f(x[R] + hareket yönünde, yani tek boyutlu minimizasyon probleminin çözülmesi sonucunda: [R]) .

a k r

İkinci dereceden bir fonksiyon için X Fletcher-Reeves eşlenik gradyan yönteminin algoritması aşağıdaki gibidir. P = --X) .

1. Bu noktada HP hesaplanmış A 2. Açık . m adım, yukarıdaki formüller kullanılarak adım belirlenir X[X[ 1].

k f(x[R+1]) ve dönem -X[R+1]) .

3. Değerler hesaplanır -X) Ve X[R 4. Eğer = 0, sonra nokta+1] fonksiyonun minimum noktasıdır P[R f(x).

Aksi halde yeni bir yön belirlenir N+l] ilişkiden ve bir sonraki iterasyona geçiş gerçekleştirilir. Bu prosedür ikinci dereceden bir fonksiyonun minimumunu en fazla adımlar. Xİkinci dereceden olmayan fonksiyonları en aza indirirken, Fletcher-Reeves yöntemi sonludan yinelemeli hale gelir. Bu durumda sonrasında X[N(p+

yinelemeli minimizasyon süreci şu şekildedir R f'(x 1) Prosedür 1-4'ün yinelemeleri, değiştirme ile periyodik olarak tekrarlanır[R]=x[R],

] aşağıdaki formüller kullanılarak hesaplanır: R] Açık[R])+ +1] ve hesaplamalar belirli bir sayı olan 'da biter. Bu durumda yöntemin aşağıdaki modifikasyonu kullanılır: HP 1 P[R+b k-1 R>= 1;

=x k+);

f(x[ R] + = -f’(x[R]) = f(x[R] B[R];

p = -f'( ak p+ap ak p Burada BEN- birçok dizin: N= (0, n, 2

p, maaş, ...) X, yani yöntem her seferinde güncellenir İniş yönü olarak seçim = adımlar. Eşlenik gradyan yönteminin geometrik anlamı aşağıdaki gibidir (Şekil 2.11). Belirli bir başlangıç noktasından X iniş yönünde gerçekleştirilir -f"(x). X bu noktada İniş yönü olarak seçim, gradyan vektörü belirlenir ] anti-gradyan -) f"(x İniş yönü olarak seçim). Çünkü İniş yönü olarak seçim , H fonksiyonun yönündeki minimum noktasıdır İniş yönü olarak seçim O İniş yönü olarak seçim vektöre dik

. Daha sonra vektör bulunur . - ile eşlenik

Eşlenik yön yöntemleri, minimizasyon problemlerinin çözümünde en etkili yöntemler arasındadır. Ancak sayma işlemi sırasında meydana gelen hatalara karşı hassas olduklarını unutmamak gerekir. Çok sayıda değişkenle hata o kadar artabilir ki, ikinci dereceden bir fonksiyon için bile sürecin tekrarlanması gerekecek, yani. bunun için süreç her zaman uymaz N= (0, n, 2

Her yinelemede en dik iniş yöntemini kullanırken adım boyutu A R fonksiyonun minimum koşulundan seçilir f(x) iniş yönünde, yani

f(x[R] -A R -f"(x[R])) = f(x f'(x -af"(x[R])) .

J (A) = f(x[R]-af"(x[R])) .

En dik iniş yönteminin algoritması aşağıdaki gibidir.

1. Başlangıç noktasının koordinatlarını ayarlayın X.
2. Bu noktada X[R], k = 0, 1, 2, ... gradyan değerini hesaplar -f"(x[R]) .
3. Adım boyutu belirlenir A k, tek boyutlu minimizasyonla A işlevler j (A) = f(x[R]-af"(x[R])).
4. Noktanın koordinatları belirlenir X[X[ 1]:

X Ben [X[ 1]1) Prosedür 1-4'ün yinelemeleri, değiştirme ile periyodik olarak tekrarlanır Ben [R] -A R F" Ben (X[R]), i = 1,..., s.

5. Sterasyon işleminin durdurulması koşulları kontrol edilir. Bunlar yerine getirilirse hesaplamalar durur. Aksi halde 1. adıma geçin.

Söz konusu yöntemde, noktadan hareketin yönü X[R] noktada seviye çizgisine dokunuyor k+[X[ 1] (Şekil 2.9). İniş yörüngesi zikzaktır ve bitişik zikzak bağlantıları birbirine diktir. Aslında bir adım A k minimize edilerek seçilir A işlevler? (A) = f(x f'(x -af"(x[R])) . Bir fonksiyonun minimumu için gerekli koşul Bir fonksiyonun minimumu için gerekli koşul J D Karmaşık bir fonksiyonun türevini hesapladıktan sonra, iniş yönleri vektörlerinin komşu noktalardaki diklik koşulunu elde ederiz:

Bir fonksiyonun minimumu için gerekli koşul J (a)/da = -f"(x[X[ 1]-f"(x[R]) = 0.

Pirinç. 2.9.

birbirinden çok az farklılık gösterir, yani matris N(x) iyi şartlandırılmış. Özdeğerlerin l i olduğunu hatırlayın, Ben =1, …, N matrisler karakteristik denklemin kökleridir

Pirinç. 2.10.

Gradyan yöntemlerinin yakınsama oranı aynı zamanda gradyan hesaplamalarının doğruluğuna da önemli ölçüde bağlıdır. Genellikle minimum noktaların yakınında veya bir su birikintisi durumunda meydana gelen doğruluk kaybı, genellikle gradyan iniş sürecinin yakınsamasını bozabilir. Yukarıdaki nedenlerden dolayı, gradyan yöntemleri genellikle bir problemin çözümünün ilk aşamasında diğer daha etkili yöntemlerle birlikte kullanılır. Bu durumda asıl nokta X minimum noktadan uzaktır ve antigradyan yönündeki adımlar, fonksiyonda önemli bir azalma elde edilmesini mümkün kılar.

En dik iniş yöntemi (İngiliz literatüründe "en dik iniş yöntemi"), optimizasyon problemlerini çözmek için, amaç fonksiyonunun ekstremumunu (minimum veya maksimum) belirlemenize olanak tanıyan yinelemeli bir sayısal yöntemdir (birinci dereceden):

gerçek etki alanındaki fonksiyon argümanının (kontrollü parametreler) değerleridir.

Söz konusu yönteme uygun olarak amaç fonksiyonunun ekstremumu (maksimum veya minimum), fonksiyonun en hızlı artış (azalış) yönünde belirlenir, yani. fonksiyonun gradyanı (anti-gradyan) yönünde. Bir noktada gradyan fonksiyonu koordinat eksenleri üzerindeki izdüşümleri fonksiyonun koordinatlara göre kısmi türevleri olan bir vektördür:

burada i, j,…, n koordinat eksenlerine paralel birim vektörlerdir.

Taban noktasındaki gradyan yüzeye kesinlikle diktir ve yönü, fonksiyondaki en hızlı artışın yönünü gösterir ve ters yön (antigradyan), sırasıyla fonksiyonun en hızlı azalma yönünü gösterir.

En dik iniş yöntemi, gradyan iniş yönteminin daha da geliştirilmiş halidir. Genel olarak, bir fonksiyonun ekstremumunu bulma süreci yinelemeli bir prosedürdür ve şu şekilde yazılır:

bir fonksiyonun maksimumunu bulmak için "+" işaretinin kullanıldığı ve bir fonksiyonun minimumunu bulmak için "-" işaretinin kullanıldığı;

Formülle belirlenen birim yön vektörü:

- degrade modülü, fonksiyonun degrade veya anti-gradyan yönünde artış veya azalma oranını belirler:

Adım boyutunu belirleyen ve tüm i'inci yönler için aynı olan bir sabit.

Adım boyutu, hareket yönündeki amaç fonksiyonu f(x)'in minimum koşulundan, yani tek boyutlu optimizasyon probleminin gradyan veya antigradyan yönünde çözülmesinin bir sonucu olarak seçilir:

Başka bir deyişle adım büyüklüğü şu denklemin çözülmesiyle belirlenir:

Bu nedenle hesaplama adımı, hareket fonksiyon iyileşene, dolayısıyla bir noktada uç noktaya ulaşana kadar gerçekleştirilecek şekilde seçilir. Bu noktada, arama yönü yeniden belirlenir (gradyan kullanılarak) ve amaç fonksiyonunun yeni bir optimum noktası aranır, vb. Böylece bu yöntemde arama daha büyük adımlarla gerçekleşir ve fonksiyonun gradyanı daha az sayıda noktada hesaplanır.

İki değişkenli bir fonksiyon durumunda, bu yöntem aşağıdaki geometrik yoruma sahiptir: Bir noktadan hareketin yönü, noktasındaki seviye çizgisine dokunur. İniş yörüngesi zikzaktır ve bitişik zikzak bağlantıları birbirine diktir. İniş yönleri vektörlerinin komşu noktalardaki diklik koşulu aşağıdaki ifadeyle yazılır:

f(x) fonksiyonunun eşit seviye çizgisi grafiğinde gösterilen, en dik iniş yöntemini kullanarak uç noktaya doğru hareketin yörüngesi

Optimum çözüm arayışı yinelemeli hesaplama adımında (birkaç kriter) sona erer:

Arama yörüngesi mevcut arama noktasının küçük bir mahallesinde kalır:

Amaç fonksiyonunun artışı değişmez:

Amaç fonksiyonunun yerel minimum noktasındaki gradyanı sıfır olur:

Gradyan iniş yönteminin bir vadi boyunca hareket ederken çok yavaş olduğu ve amaç fonksiyonundaki değişken sayısı arttıkça yöntemin bu davranışının tipik hale geldiği unutulmamalıdır. Dağ geçidi, seviye çizgileri yaklaşık olarak elips şeklinde olan ve yarı eksenleri birçok kez farklı olan bir çöküntüdür. Bir vadinin varlığında, iniş yörüngesi küçük bir adımla zikzak çizgisi şeklini alır, bunun sonucunda minimuma inen iniş hızı büyük ölçüde yavaşlar. Bu, bu fonksiyonların antigradyan yönünün minimum noktaya doğru önemli ölçüde sapması ve bunun da hesaplamada ek bir gecikmeye yol açmasıyla açıklanmaktadır. Sonuç olarak algoritma hesaplama verimliliğini kaybeder.

Oluk fonksiyonu

Gradyan yöntemi, sayısız modifikasyonuyla birlikte, incelenen nesnelerin optimumunu aramak için yaygın ve etkili bir yöntemdir. Gradyan aramanın (yukarıda tartışılan yöntemlerin yanı sıra) dezavantajı, onu kullanırken fonksiyonun yalnızca yerel ekstremumunun tespit edilebilmesidir. Diğer yerel ekstremumları bulmak için başka başlangıç noktalarından arama yapmak gerekir. Ayrıca gradyan yöntemlerinin yakınsama hızı da gradyan hesaplamalarının doğruluğuna önemli ölçüde bağlıdır. Genellikle minimum noktaların yakınında veya bir su birikintisi durumunda meydana gelen doğruluk kaybı, genellikle gradyan iniş sürecinin yakınsamasını bozabilir.

Hesaplama yöntemi

1. Adım: Bir fonksiyonun gradyanını hesaplamak için analitik ifadelerin tanımı (sembolik biçimde)

2. Adım: Başlangıç yaklaşımını ayarlayın

3. Adım: Son arama yönünü sıfırlamak için algoritmik prosedürü yeniden başlatma ihtiyacı belirlenir. Yeniden başlatma sonucunda arama en dik iniş yönünde tekrar gerçekleştirilir.