Kakšen je vnos umetnega nevrona. Umetni (matematični) nevron

Umetni nevron

Shema umetni nevron
1. Nevroni, katerih izhodni signali pridejo na vhod tega
2. Seštevalnik vhodnih signalov
3. Kalkulator prenosne funkcije
4. Nevroni, katerih vhodi sprejemajo izhodni signal danega
5. - utež vhodni signali

Umetni nevron (Matematični nevron McCulloch-Pitts, Formalni nevron) - vozlišče umetne nevronske mreže, ki je poenostavljen model naravni nevron. Matematično se umetni nevron običajno obravnava kot nekaj nelinearna funkcija iz enega samega argumenta - linearne kombinacije vseh vhodnih signalov. Ta funkcija klical aktivacijska funkcija oz sprožilna funkcija, prenosna funkcija . Nastali rezultat se pošlje na en izhod. Takšni umetni nevroni so združeni v mreže – povezujejo izhode nekaterih nevronov z vhodi drugih. Umetni nevroni in mreže so glavni elementi idealnega nevroračunalnika.

Biološki prototip

Biološki nevron je sestavljen iz telesa s premerom od 3 do 100 mikronov, ki vsebuje jedro (z velik znesek jedrske pore) in drugih organelov (vključno z visoko razvitim grobim ER z aktivnimi ribosomi, Golgijev aparat) in procesi. Obstajata dve vrsti procesov. Akson je običajno dolg proces, prilagojen za izvajanje vzbujanja iz telesa nevrona. Dendriti so praviloma kratki in zelo razvejani izrastki, ki služijo kot glavno mesto za nastanek ekscitatornih in inhibitornih sinaps, ki vplivajo na nevron (različni nevroni imajo drugačno razmerje dolžina aksona in dendritov). Nevron ima lahko več dendritov in običajno samo en akson. En nevron ima lahko povezave z 20 tisoč drugimi nevroni. Človeška možganska skorja vsebuje 10-20 milijard nevronov.

Zgodovina razvoja

V tem primeru je možno premikati funkcijo po obeh oseh (kot je prikazano na sliki).

Slabosti stopničastih in pollinearnih aktivacijskih funkcij v primerjavi z linearnimi so, da jih ni mogoče diferencirati po celotnem številska os, kar pomeni, da jih ni mogoče uporabiti pri usposabljanju z uporabo nekaterih algoritmov.

Funkcija aktivacije praga

Funkcija prenosa praga

Hiperbolični tangens

Tukaj je razdalja med središčem in vektorjem vhodnih signalov. Skalarni parameter določa hitrost, s katero funkcija upada, ko se vektor premika stran od središča, in se imenuje širina okna, parameter določa premik aktivacijske funkcije vzdolž osi abscise. Omrežja z nevroni, ki uporabljajo takšne funkcije, se imenujejo omrežja RBF. Kot razdaljo med vektorji se lahko uporabljajo različne metrike, običajno se uporablja evklidska razdalja:

tukaj - j-to komponento vektorja, dobavljenega na vhodu nevrona, je a j-ta komponenta vektorja, ki določa položaj središča prenosne funkcije. V skladu s tem se omrežja s takšnimi nevroni imenujejo verjetnostna in regresijska.

V resničnih omrežjih lahko aktivacijska funkcija teh nevronov odraža porazdelitev verjetnosti neke naključne spremenljivke ali nakazuje kakršne koli hevristične odvisnosti med količinami.

Druge prenosne funkcije

Zgoraj navedene funkcije so le del številnih funkcij prenosa, ki se uporabljajo na ta trenutek. Druge funkcije prenosa vključujejo:

Stohastični nevron

Zgoraj je opisan model determinističnega umetnega nevrona, to pomeni, da je stanje na izhodu nevrona enolično določeno z rezultatom delovanja seštevalnika vhodnih signalov. Upoštevani so tudi stohastični nevroni, kjer pride do preklapljanja nevronov z verjetnostjo, odvisno od induciranega lokalnega polja, kar pomeni, da je prenosna funkcija definirana kot

kjer ima verjetnostna porazdelitev običajno obliko sigme

uvedena je normalizacijska konstanta za pogoj normalizacije verjetnostne porazdelitve. Tako se nevron aktivira z verjetnostjo P(u). Parameter T je analog temperature (vendar ne temperature nevrona!) in določa motnjo v zivcno omrezje. Če se T nagiba k 0, se bo stohastični nevron spremenil v navaden nevron s Heavisideovo prenosno funkcijo (pražna funkcija).

Modeliranje formalnih logičnih funkcij

Nevron s funkcijo prenosa praga lahko modelira različne logične funkcije. Slike ponazarjajo, kako lahko z nastavitvijo uteži vhodnih signalov in praga občutljivosti prisilite nevron, da izvede konjunkcijo (logično »IN«) in disjunkcijo (logično »ALI«) na vhodnih signalih ter logično negacijo vhodni signal. Te tri operacije so dovolj za simulacijo absolutno katere koli logična funkcija poljubno število argumentov.

Opombe

Literatura

Terekhov V.A., Efimov D.V., Tyukin I.Yu. Sistemi za nadzor nevronske mreže. - 1. - podiplomska šola, 2002. - Str. 184. - ISBN 5-06-004094-1
Kruglov V.V., Borisov V.V.

Nevron je sestavni del zivcno omrezje. Na sl. 1 2 prikazuje njegovo strukturo, sestavljeno iz elementov treh vrst: množiteljev (sinaps), seštevalnika in nelinearnega pretvornika. Sinapse komunicirajo med nevroni in pomnožijo vhodni signal s številom, ki označuje moč povezave (teža sinapse). Seštevalnik izvede seštevanje signalov, ki prihajajo prek sinaptičnih povezav iz drugih nevronov, in zunanjih vhodnih signalov. Nelinearni pretvornik izvaja nelinearno funkcijo enega argumenta - izhod seštevalnika. To funkcijo imenujemo aktivacijska funkcija ali prenosna funkcija

riž. 1.2 Zgradba umetnega nevrona

nevron. Nevron kot celota izvaja skalarna funkcija vektorski argument. Matematični model nevrona:

kjer je teža sinapse, je vrednost pristranskosti, s je rezultat seštevanja (vsota); x je komponenta vhodnega vektorja (vhodni signal), izhodni signal nevrona; - število nevronskih vhodov; - nelinearna transformacija (aktivacijska funkcija).

IN splošni primer vhodnega signala, uteži in odmika prave vrednosti, in v mnogih praktični problemi- samo nekatere fiksne vrednosti. Izhod je določen z vrsto aktivacijske funkcije in je lahko realen ali celoštevilski.

Sinaptične povezave s pozitivnimi utežmi imenujemo ekscitatorne, tiste z negativnimi utežmi pa inhibitorne.

Opisani računski element lahko štejemo za poenostavljenega matematični model biološki nevroni. Da bi poudarili razliko med biološkimi in umetnimi nevroni, slednje včasih imenujemo nevronom podobni elementi ali formalni nevroni.

Nelinearni pretvornik se na vhodni signal odzove z izhodnim signalom, ki je izhod

nevron Primeri aktivacijskih funkcij so predstavljeni v tabeli. 1.1 in na sl. 1.3

Tabela 1.1 (glej skeniranje) Funkcije aktivacije nevronov

Ena najpogostejših je nelinearna aktivacijska funkcija z nasičenostjo, tako imenovana logistična funkcija ali sigmoida (funkcija v obliki črke S).

Ko se a zmanjša, postane sigmoid bolj ploščat in na meji degenerira v vodoravna črta na ravni 0,5, z naraščanjem a se sigmoida približuje obliki funkcije

riž. 1.3 Primeri aktivacijskih funkcij a - funkcija enojnega skoka, b - linearni prag (histereza), c - sigmoid (logistična funkcija), d - sigmoid (hiperbolični tangens)

enojni skok s pragom Iz izraza za sigmoido je očitno, da je izhodna vrednost nevrona v območju Ena od dragocenih lastnosti sigmoidne funkcije je preprost izraz za njen derivat, o uporabi katerega bomo razpravljali kasneje

Upoštevati je treba, da je sigmoidna funkcija diferencibilna vzdolž celotne osi x, kar se uporablja v nekaterih učnih algoritmih. Poleg tega ima lastnost, da ojača šibke signale bolje kot velike in preprečuje nasičenost zaradi velikih signalov. ustrezajo območjem argumentov, kjer ima sigmoid plitek naklon

Umetno nevronsko vezje
1. Nevroni, katerih izhodni signali pridejo na vhod tega
2. Seštevalnik vhodnih signalov
3. Kalkulator prenosne funkcije
4. Nevroni, katerih vhodi sprejemajo izhodni signal danega
5. $w_i$ - utež vhodni signali

Umetni nevron (McCulloch-Pittsov matematični nevron, formalni nevronL. G. Komartsova, A. V. Maksimov “Nevroračunalniki”, MSTU im. N. E. Bauman, 2004, ISBN 5-7038-2554-7) - vozlišče umetne nevronske mreže, ki je poenostavljen model naravnega nevrona. Matematično je umetni nevron običajno predstavljen kot neka nelinearna funkcija enega samega argumenta - linearna kombinacija vseh vhodnih signalov. Ta funkcija se imenuje aktivacijska funkcijaPo analogiji z aktivacijski nevroni oz sprožilna funkcija, prenosna funkcija. Nastali rezultat se pošlje na en izhod. Takšni umetni nevroni so združeni v mreže – povezujejo izhode nekaterih nevronov z vhodi drugih. Umetni nevroni in mreže so glavni elementi idealnega nevroračunalnika. Mirkeš E. M., Nevroračunalnik. Osnutek standarda. - Novosibirsk: Nauka, 1999. - 337 str. ISBN 5-02-031409-9

Biološki prototip

y=\exp(-\frac((S-R)^2)(2\sigma^ 2))

Tukaj $S = ||\mathbf(X)-\mathbf(C)||$ - razdalja med središčem $\mathbf(C)$ in vektor vhodnih signalov $\mathbf(X)$ . Skalarni parameter $\sigma$ določa hitrost, s katero funkcija upada, ko se vektor odmika od središča in se imenuje širina okna, parameter $R$ določa premik aktivacijske funkcije vzdolž abscisne osi. Omrežja z nevroni, ki uporabljajo takšne funkcije, se imenujejo omrežja RBF. Kot razdaljo med vektorji lahko uporabimo različne metrike V.V. Kruglov, V.V. Borisov - Umetne nevronske mreže. Teorija in praksa - str.349, se običajno uporablja evklidska razdalja:

$S = \sqrt( \sum_(j=1)^(N) ( (x_j-c_j)^2 ) )$ .

Tukaj $x_j$ - $j$ -ta komponenta vektorja, dobavljena na vhodu nevrona, in $c_j$ - $j$ -ta komponenta vektorja, ki določa položaj središča prenosne funkcije. V skladu s tem se omrežja s takšnimi nevroni imenujejo verjetnostna in regresijska V.V. Kruglov, V.V. Borisov - Umetne nevronske mreže. Teorija in praksa - str.348.

V resničnih omrežjih lahko aktivacijska funkcija teh nevronov odraža porazdelitev verjetnosti neke naključne spremenljivke ali nakazuje kakršne koli hevristične odvisnosti med količinami.

Glejte tudi: ((#if: Mreža radialnih baznih funkcij | [[Mreža radialnih baznih funkcij((#if: | Predloga:! (((l1))) ))]] )) ((#if: Mrežna radialna osnovne funkcije ||. Napaka: . ))((#if: | ...Napaka: . ))((#if: | ((#if: Mreža radialnih bazičnih funkcij | ((#if: || )) )) ))

Druge prenosne funkcije

Zgoraj naštete funkcije so le del številnih funkcij prenosa, ki so trenutno v uporabi. Druge funkcije prenosa vključujejo: Besedilo:

Razstavljavec $f(x) = \exp (-Ax)$ ;
Modularno: $f(x) = \levo| x\desno|$ ;

Stohastični nevron

$f(u) = \begin(cases)1 & \text(z verjetnostjo) P(u) \\0 & \text(z verjetnostjo) 1-P(u)\end(cases)$ ,

kjer je porazdelitev verjetnosti $P(u)$ običajno ima obliko sigme:

$\sigma(u) = \frac (A(T))(1+\exp (-u/T))$ ,

normalizacijska konstanta $A(T)$ je uveden za pogoj normalizacije porazdelitve verjetnosti $\int^1_0 \sigma(u) du = 1$ . Tako se nevron aktivira z verjetnostjo $P(u)$ . Parameter $T$ - analog temperature (vendar ne nevronske temperature) in določa motnje v nevronski mreži. če $T$ teži k 0, se bo stohastični nevron spremenil v navaden nevron s Heavisideovo prenosno funkcijo (pražna funkcija).

Modeliranje formalnih logičnih funkcij

Nevron s funkcijo prenosa praga lahko modelira različne logične funkcije. Slike ponazarjajo, kako lahko z nastavitvijo uteži vhodnih signalov in praga občutljivosti prisilite nevron, da izvede konjunkcijo (logično »IN«) in disjunkcijo (logično »ALI«) na vhodnih signalih, pa tudi logično negacija vhodnega signala. Te tri operacije so dovolj za modeliranje absolutno katere koli logične funkcije poljubnega števila argumentov.

Poglej tudi

Opombe

Neznana razširitvena oznaka "sklici"

Literatura

((#if: Terekhov V.A., Efimov D.V., Tyukin I.Yu. | ((#ifeq:((#invoke:String|sub|Terehov V.A., Efimov D.V., Tyukin I.Yu.|-1))| |Terehov V.A., Efimov D.V., Tyukin I.Yu.|((#ifeq:( (#invoke:String|sub|Terehov V.A., Efimov D.V., Tjukin I.J.|-6|-2))| |Terehov V.A., Efimov D.V., Tjukin I.J.|((#ifeq :((#invoke:String|sub|Terehov V.A., Efimov D.V., Tyukin I.Yu.|-6 |-2))|/span|Predloga:±.|Predloga:±. ))))))))((#if: |((#if: |[(((del povezave))) (((del)))]| (((del))))) // ))((#if: |[[:s:(((Wikivir)))|Nadzorni sistemi nevronske mreže]]|((#if: |Nadzorni sistemi nevronske mreže |((#if:|[Nadzorni sistemi nevronske mreže]|Nadzorni sistemi nevronske mreže) )))) )((#if:| = ))((#if:| / (((odgovoren))).|((#if:||.))))((#if:Nadzor nevronske mreže sistemi|((# če:| ((#if:| = (((izvirno2))) ))((#if:| / (((odgovorni2))).|((#if:||.)) ))))) )((#if:1.| - 1.))((#switch:((#if:|m))((#if:Višja šola |i))((#if:2002| g ))

))((#if:| - (((to je))).))((#if:|((#if: | [(((glasnost povezave))) - T. (((glasnost) ) ).]|. - T. (((glasnost)).))))((#if:| - Vol. (((glasnost))).))((#if:| - Bd. (( (band) ))).))((#if:| - (((strani takšne, kot so))).))((#if:184| - S. ((#if:| (stb. (((stolpci )) )).|184.))))((#if:| - (((strani, kot so))).))((#if:| - (((strani))) str.))( (# if:|. - P. ((#if:|[(((strani)))] (col. (((stolpci)))).|(((strani))).))))(( #if :|. - S. ((#if:|[(((seite)))] (Kol. (((kolonnen)))).|(((seite))).))))((# if: |. - p.))((#if:| - S.))((#if:| - ((((serija)))).))((#if:| - (((naklada) )) kopija ))((#if:5-06-004094-1| - ISBN 5-06-004094-1 DOI :(((doi))) ((#ifeq:Template:Str left |10.| | Napaka: Neveljaven DOI!] ((#če:||))))))

((#if: Kruglov V. V., Borisov V. V. | ((#ifeq:((#invoke:String|sub|Kruglov V.V., Borisov V.V.|-1))| |Kruglov V.V., Borisov V.V.|((#ifeq:( (#invoke:String|sub|Kruglov V.V., Borisov) V.V.|-6|-2))| |Kruglov V.V., Borisov V.V.|((#ifeq:((# invoke:String|sub|Kruglov V.V., Borisov V.V.|-6|-2))|/span|Predloga :±.|Predloga:±. ))))))))((#if: |((#if: |[(((del povezave))) (((del)))]| (((del))))) // ))((#if: |[[:s:(((wiki))|Umetne nevronske mreže. Teorija in praksa]]|((#if: |Umetne nevronske mreže. Teorija in praksa |((#if:|[ Umetne nevronske mreže. Teorija in praksa]|Umetne nevronske mreže. Teorija in praksa))))))((#if:| / (((odgovoren))).|((#if:||. ) )))((#if:Umetne nevronske mreže. Teorija in praksa|((#if:| ((#if:| = (((original2))) ))((#if:| / (((responsible2 ) )).|((#if:||.)))))))((#if:1st| - 1st.))((#switch:((#if:M.| m))((# če: Vroča linija- Telekom|i))((#if:2001|g))

|mig= - Predloga:Navedba lokacije v bibliopovezavi: Hotline - Telekom, 2001. |mi= - Predloga:Navedba lokacije v bibliopovezavi: Hotline - Telekom. |mg= - Predloga:Navedba lokacije v bibliopovezavi, 2001. |ig= - Hotline - Telekom, 2001. |m= - Predloga:Navedba lokacije v bibliolinki |i= - Hotline - Telekom. |g= - 2001.

))((#if:| - (((to je))).))((#if:|((#if: | [(((glasnost povezave))) - T. (((glasnost) ) ).]|. - T. (((glasnost)).))))((#if:| - Vol. (((glasnost))).))((#if:| - Bd. (( (band) ))).))((#if:| - (((strani takšne, kot so))).))((#if:382| - S. ((#if:| (stb. (((stolpci )) )).|382.))))((#if:| - (((strani, kot so))).))((#if:| - (((strani))) str.))( (# if:|. - P. ((#if:|[(((strani)))] (col. (((stolpci)))).|(((strani))).))))(( #if :|. - S. ((#if:|[(((seite)))] (Kol. (((kolonnen)))).|(((seite))).))))((# if: |. - str.))((#if:| - S.))((#if:| - ((((serija)))).))((#if:| - (((naklada) )) kopija ))((#if:5-93517-031-0| - ISBN 5-93517-031-0 .))((#if:| - ISBN (((isbn2))).))( (#if :|. - ISBN (((isbn3))).))((#if:| - ISBN (((isbn4))).))((#if:| - ISBN (((isbn5))) .)) ((#if:| - DOI :(((doi))) ((#ifeq:Template:Str left |10.|| [ Napaka: Neveljaven DOI!] ((#če:||))))))

((#if:Callan R.| ((#ifeq:((#invoke:String|sub|Callan R.|-1))| |Callan R.|((#ifeq:((#invoke:String|sub|Callan R.|-6|- 2))| |Callan R.|((#ifeq:((#invoke:String|sub|Callan R.|-6|-2))|/span|Predloga:±.|Predloga:±. ))))))))((#if: |((#if: |[(((del povezave))) (((del)))]| (((del))))) // ))((#if: |[[:s:(((Wikivir)))|Osnovni koncepti nevronskih mrež]]|((#if: |Osnovni koncepti nevronskih mrež |((#if:|[Osnovni koncepti nevronskih mrež]|Osnovni koncepti) nevronskih mrež) )))))((#if:The Essence of Neural Networks First Edition| = The Essence of Neural Networks First Edition ))((#if:| / (((odgovoren))).|(( #if:|. |.))((#if:Osnovni koncepti nevronskih mrež|((#if:| ((#if:| = (((original2))) ))((#if:| / (((odgovorni2) )).|((#if:||.)))))))((#if:1st| - 1st.))((#switch:((#if:|m)) ((#if:"Williams" |i))((#if:2001|g))

))((#if:| - (((to je))).))((#if:|((#if: | [(((glasnost povezave))) - T. (((glasnost) ) ).]|. - T. (((glasnost)).))))((#if:| - Vol. (((glasnost))).))((#if:| - Bd. (( (band) ))).))((#if:| - (((strani takšne, kot so))).))((#if:288| - S. ((#if:| (stb. (((stolpci )) )).|288.))))((#if:| - (((strani, kakršne so))).))((#if:| - (((strani))) str.))( (# if:|. - P. ((#if:|[(((strani)))] (col. (((stolpci)))).|(((strani))).))))(( #if :|. - S. ((#if:|[(((seite)))] (Kol. (((kolonnen)))).|(((seite))).))))((# if: |. - p.))((#if:| - S.))((#if:| - ((((serija)))).))((#if:| - (((naklada) )) kopija ))((#if:5-8459-0210-X| - ISBN 5-8459-0210-X .))((#if:| - ISBN (((isbn2)).))( (#if: |. - ISBN (((isbn3))).))((#if:| - ISBN (((isbn4))).))((#if:| - ISBN (((isbn5))) .))( (#if:| - DOI :(((doi))) ((#ifeq:Template:Str left |10.|| [ Napaka: Neveljaven DOI!] ((#če:||))))))

((#if: Yasnitsky L. N. | ((#ifeq:((#invoke:String|sub|Yasnitsky L. N.|-1))| |Yasnitsky L. N.|((#ifeq:((#invoke:String|sub|Yasnitsky L. N. .|-6|-2) )| |Yasnitsky L. N.|((#ifeq:((#invoke:String|sub|Yasnitsky L. N.|-6|-2))|/span|Predloga :±.|Predloga:±. ))))))))((#if: |((#if: |[(((del povezave))) (((del)))]| (((del))))) // ))((#if: |[[:s:(((Wikivir)))|Uvod v umetna inteligenca]]|((#if: |Uvod v umetno inteligenco |((#if:|[ Uvod v umetno inteligenco]|Uvod v umetno inteligenco))))))((#if:| = ))((#if :|. / (((odgovoren))).|((#if:||.))))((#if:Uvod v umetno inteligenco|((#if:| ((#if:| = ((( original2))) ))((#if:| / (((odgovoren2))).|((#if:||.)))))))((#if:1st| - 1- e.) )((#switch:((#if:|m))((#if:Založniško središče "Akademija"|i))((#if:2005|g))

|mig= - Predloga:Navedba kraja v bibliopovezavi: Založniški center "Akademija", 2005. |mi= - Predloga:Navedba kraja v bibliopovezavi: Založniški center "Akademija". |mg= - Predloga:Navedba mesta v bibliopovezavi, 2005. |ig= - Založniško središče "Akademija", 2005. |m= - Predloga:Navedba mesta v bibliopovezavi |i= - Založniško središče "Akademija". |g= - 2005.

))((#if:| - (((to je))).))((#if:|((#if: | [(((glasnost povezave))) - T. (((glasnost) ) ).]|. - T. (((glasnost)).))))((#if:| - Vol. (((glasnost))).))((#if:| - Bd. (( (band) ))).))((#if:| - (((strani takšne, kot so))).))((#if:176| - S. ((#if:| (stb. (((stolpci )) )).|176.))))((#if:| - (((strani, kakršne so))).))((#if:| - (((strani))) str.))( (# if:|. - P. ((#if:|[(((strani)))] (col. (((stolpci)))).|(((strani))).))))(( #if :|. - S. ((#if:|[(((seite)))] (Kol. (((kolonnen)))).|(((seite))).))))((# if: |. - p.))((#if:| - S.))((#if:| - ((((serija)))).))((#if:| - (((naklada) )) kopija ))((#if:5-7695-1958-4| - ISBN 5-7695-1958-4 .))((#if:| - ISBN (((isbn2)).))( (#if: |. - ISBN (((isbn3))).))((#if:| - ISBN (((isbn4))).))((#if:| - ISBN (((isbn5))) .))( (#if:| - DOI :(((doi))) ((#ifeq:Template:Str left |10.|| [ Napaka: Neveljaven DOI!] ((#če:||))))))

((#if: Komartsova L. G., Maksimov A. V. | ((#ifeq:((#invoke:String|sub|Komartsova L.G., Maksimov A.V.|-1))| |Komartsova L.G., Maksimov A.V.|((#ifeq:( (#invoke:String|sub|Komartsova L.G., Maksimov) A.V.|-6|-2))| |Komartsova L.G., Maksimov A.V.|((#ifeq:((# invoke:String|sub|Komartsova L.G., Maksimov A.V.|-6|-2))|/span|Predloga :±.|Predloga:±. ))))))))((#if: |((#if: |[(((del povezave))) (((del)))]| (((del))))) // ))((#if: |[[:s:(((Wikivir)))|Nevroračunalniki]]|((#if: |Nevroračunalniki |((#if:http://www.books.ru/shop/search/advanced?as%5Bisbn) %5D=5703819083&as%5Bsub%5D=%E8%F1%EA%E0%F2%FC%7C Nevroračunalniki |Nevroračunalniki))))))((#if:| = ))((#if:| / (( (odgovoren)).|((#if:||.))))((#if:Nevroračunalniki|((#if:| ((#if:| = (((original2))) ))(( # if:|. / (((odgovoren2))).|((#if:||.))))))((#if:1st| - 1st.))((#switch :((#if: |м))((#if: Založba MSTU po imenu N.E. Bauman|i))((#if:2002|g))

|trenutek= - Predloga:Navedba mesta v bibliopovezavi: Založba MSTU im. N.E. Bauman, 2002. |mi= - Predloga:Navedba mesta v bibliopovezavi: Založba MSTU im. N.E. Bauman. |mg= -

Prilagodljivi informacijski sistemi

Potreba po prilagajanju informacijski sistemi ah nastane, ko se problemska področja, ki jih podpirajo, nenehno razvijajo. Zaradi tega prilagodljivi sistemi mora zadostiti številnim posebne zahteve, in sicer:

Ustrezno odražajo znanje o problemskem področju v vsakem trenutku;

Biti primeren za enostavno in hitro rekonstrukcijo ob menjavi problematičnega okolja.

Prilagodljive lastnosti informacijskih sistemov so zagotovljene z intelektualizacijo njihove arhitekture. Jedro tovrstnih sistemov je nenehno razvijajoč se model problemske domene, ki se vzdržuje v posebni bazi znanja – repozitoriju. Sistemsko jedro nadzoruje procese generiranja ali ponovnega konfiguriranja programske opreme.

V procesu razvoja prilagodljivih informacijskih sistemov se uporablja originalni ali standardni dizajn. Original oblikovanje vključuje razvoj informacijskega sistema z " nov začetek» na podlagi oblikovanih zahtev. Implementacija tega pristopa temelji na uporabi sistemov za računalniško podprto načrtovanje oziroma CASE tehnologij (Designer2000, SilverRun, Natural Light Storm itd.).

pri standard med projektiranjem se standardni razvoji prilagajajo značilnostim problematičnega področja. Za izvedbo tega pristopa se uporabljajo orodja za načrtovanje komponent (sklopov) informacijskih sistemov (R/3, BAAN IV, Prodis itd.).

Glavna razlika med pristopoma je v tem, da pri uporabi tehnologije CASE vsakič, ko se problemsko področje spremeni, generacije programska oprema na splošno in pri uporabi tehnologije montaže - konfiguracijo modulov in le v redkih primerih – njihovih recikliranje.

Tema 2. Umetne nevronske mreže. Arhitektura in klasifikacija nevronskih mrež.

Zamisel o podrobni strukturi možganov se je pojavila šele pred približno sto leti. Leta 1888 je španski zdravnik Ramoni Kayal eksperimentalno pokazal, da je možgansko tkivo sestavljeno iz veliko število med seboj povezana vozlišča istega tipa – nevroni. Kasnejše študije z uporabo elektronski mikroskop pokazala, da imajo vsi nevroni, ne glede na vrsto, podobno organizacijska struktura(slika 2.1). Naravna živčna celica (nevron) je sestavljena iz telesa (soma), ki vsebuje jedro in procese - dendrite, skozi katere v nevron vstopajo vhodni signali. Eden od procesov, ki se na koncu razveja, služi za prenos izhodnih signalov tega nevrona na druge živčne celice. Imenuje se akson. Povezava med aksonom in dendritom drugega nevrona se imenuje sinapsa. Nevron je vzbujen in prenaša signal skozi akson, če je število ekscitatornih signalov, ki prihajajo vzdolž dendritov, večje od števila inhibitornih.

Slika 2.1 – Zgradba biološkega nevrona.

Leta 1943 sta V. McCulloch in V. Pitts predlagala sistem za obdelavo informacij v obliki mreže, sestavljene iz preprostih računalnikov, ustvarjenih na principu biološkega nevrona. Umetna nevronska mreža (ANN) je zbirka enostavnih računalniških elementov (procesorjev) - umetnih nevronov, ki so na nek način povezani tako, da je zagotovljena interakcija med njimi. Za umetne nevrone je značilno pravilo združevanja vhodnih signalov in prenosna funkcija, ki omogoča izračun izhodnega signala.

Slika 2.2 – Kibernetski model nevron.

Informacije, prejete na vhodu nevrona, se seštejejo ob upoštevanju utežnih koeficientov signalov:

, (2.1)

Kje w 0– premik (prag, premik) nevrona.

Odvisno od vrednosti utežnega koeficienta w i, vhodni signal x i bodisi okrepljeno ali potlačeno. Utežena vsota vhodnih signalov se imenuje tudi potencialni ali kombinirani vhod nevrona.

Premik se običajno razlaga kot povezava, ki izhaja iz elementa, katerega aktivnost je vedno enaka 1. Običajno se zaradi udobja vhodni vektor razširi z dodajanjem tega signala x = (1,x 0,...,x n) in prag w 0 vnesemo pod znak vsote:

Prenosna funkcija ali aktivacijska funkcija nevrona je pravilo, po katerem se utežena vsota vhodnih signalov P pretvori v izhodni signal nevrona Y, ki se prenese na druge nevrone v omrežju, tj. Y=f( P). Slika 2.3 prikazuje grafe najpogostejših nevronskih aktivacijskih funkcij.

Funkcija praga omogoča, da informacije prehajajo le, če algebraična vsota vhodnih signalov presega določeno konstantna vrednost P*, na primer:

Funkcija praga ne zagotavlja zadostne prilagodljivosti za ANN med usposabljanjem. Če vrednost izračunanega potenciala ne doseže določenega praga, se izhodni signal ne ustvari in nevron "se ne sproži". To vodi do zmanjšanja intenzivnosti izhodnega signala nevrona in posledično do oblikovanja nizke vrednosti potenciala tehtanih vhodov v naslednji plasti nevronov.

Linearna funkcija je diferencibilen in enostaven za izračun, kar v nekaterih primerih omogoča zmanjšanje napak v izhodnih signalih v omrežju, saj je tudi prenosna funkcija omrežja linearna. Vendar pa ni univerzalen in ne ponuja rešitev za številne težave.

Določen kompromis med linearno in stopničasto funkcijo je sigmoidna aktivacijska funkcija Y = 1/(1+exp(-kP)), ki uspešno modelira karakteristiko prenosa biološkega nevrona (slika 3.3, c).

Slika 2.3 – Prenosne funkcije umetnih nevronov:

a) linearni; b) stopničasto; c) sigmoidno.

Koeficient k določa naklon nelinearne funkcije: večji ko je k, bližje je sigmoidna funkcija pragu; manjši kot je k, bližje je linearnemu. Vrsta prenosne funkcije je izbrana ob upoštevanju specifičnega problema, ki se rešuje z uporabo nevronskih mrež. Na primer, pri problemih aproksimacije in klasifikacije je prednostna sigmoidna krivulja.

Arhitektura in klasifikacija ANN

Vsak nevron je povezan z nizom vhodnih povezav, preko katerih signali iz drugih elementov omrežja pridejo do tega elementa, in nizom odhodnih povezav, preko katerih signali tega elementa prenašajo na druge nevrone. Nekateri nevroni so zasnovani za sprejemanje signalov iz zunanje okolje(vhodni elementi), nekateri pa za izpis rezultatov izračuna v zunanje okolje (izhodni elementi).

Leta 1958 je Frank Rosenblatt predlagal naslednji model nevronske mreže - perceptron. Rosenblattov perceptron (slika 2.4) je sestavljen iz k nevronov, ima d vhodov, k izhodov in samo eno plast nastavljivih uteži w ij.

Slika 2.4 – Rosenblatt Perceptron.

Vhodni nevroni so običajno zasnovani za distribucijo vhodnih signalov med drugimi nevroni v omrežju, zato zahtevajo, da je signal, ki prihaja iz elementa, enak signalu, ki vstopa. Za razliko od drugih nevronov v omrežju imajo vhodni nevroni samo en vhod. Z drugimi besedami, vsak vhodni element lahko prejme signal iz enega senzorja, ki mu ustreza. Ker so vhodni elementi zasnovani izključno za distribucijo signalov, prejetih iz zunanjega okolja, mnogi raziskovalci vhodnih elementov sploh ne obravnavajo kot del nevronske mreže.

Perceptron je sposoben odločanja linearni problemi. Število omrežnih vhodov določa razsežnost prostora, iz katerega se izberejo vhodni podatki: za dve funkciji se izkaže, da je prostor dvodimenzionalen, za tri - tridimenzionalen, za d funkcij - d-dimenzionalen. Če lahko premica ali hiperravnina v prostoru vhodnih podatkov razdeli vse vzorce v njihove ustrezne razrede, potem je problem linearen, drugače je nelinearen. Slika 2.5 prikazuje množice točk na ravnini in v primeru a) je meja linearna, v primeru b) pa nelinearna.

Slika 2.5 – Geometrijska predstavitev linearno(a) in

nelinearne (b) težave.

Za reševanje nelinearnih problemov so bili predlagani modeli večplastnih perceptronov (MLP), ki so sposobni konstruirati poligonalno mejo med prepoznanimi slikami. V večslojnih omrežjih lahko vsak nevron pošlje izhod le naslednji plasti in prejme vhod le iz prejšnje plasti, kot je prikazano na sliki 2.6. Plasti nevronov, ki se nahajajo med vhodom in izhodom, se imenujejo skrite, saj ne sprejemajo ali prenašajo podatkov neposredno iz zunanjega okolja. Takšna mreža omogoča poudarjanje globalnih lastnosti podatkov zaradi prisotnosti dodatnih sinaptičnih povezav in povečanja stopnje interakcije nevronov.

Slika 2.6 – Diagram večplastnega perceptrona.

Določanje števila skritih plasti in števila nevronov v vsaki plasti za določeno nalogo je neformalni problem, pri reševanju katerega lahko uporabite hevristično pravilo: število nevronov v naslednji plasti je dvakrat manjše kot v prejšnji.

Trenutno poleg večplastnega perceptrona obstaja veliko načinov za definiranje struktur nevronskih mrež. Vse vrste nevronskih mrež lahko razdelimo na mreže z neposrednim širjenjem in mreže z povratne informacije. Kot že ime pove, se v omrežjih prvega tipa signali od nevrona do nevrona širijo v jasno določeni smeri – od vhodov omrežja do njegovih izhodov. V omrežjih druge vrste se lahko izhodne vrednosti katerega koli nevrona v omrežju prenesejo na lastne vhode. To nevronski mreži omogoča modeliranje kompleksnejših procesov, kot so časovni procesi, vendar naredi izhode takšne mreže nestabilne, odvisno od stanja mreže v prejšnjem ciklu. Na sliki 2.7. predstavljena je klasifikacija najpogostejših tipov nevronskih mrež.

Slika 2.7 – Razvrstitev običajnih tipov ANN.

Tema 3. Omrežja perceptronskega tipa

Problem klasifikacije slik. Usposabljanje z mentorjem

F. Rosenblatt je predlagal uporabo perceptrona za probleme klasifikacije. Veliko aplikacij je mogoče razlagati kot težave s klasifikacijo. Na primer optično prepoznavanje znakov. Skenirani znaki so povezani z njihovimi ustreznimi razredi. Obstaja veliko različic slike črke "H" tudi za eno določeno pisavo - simbol se lahko na primer izkaže za zamegljen - vendar morajo vse te slike pripadati razredu "H".

Ko se ve, v kateri razred sodi vsak učni primeri, lahko uporabite strategijo nadzorovanega učenja. Naloga mreže je naučiti se ujemati vzorec, predstavljen omrežju, s kontrolnim ciljnim vzorcem, ki predstavlja zahtevan razred. Z drugimi besedami, znanje o okolju je nevronski mreži predstavljeno v obliki vhodno-izhodnih parov. Na primer, omrežje lahko predstavimo s sliko črke "H" in omrežje lahko naučimo, da mora biti izhodni element, ki ustreza "H", vklopljen, izhodni elementi, ki ustrezajo drugim črkam, pa morajo biti izklopljeni. V tem primeru je lahko vhodni vzorec niz vrednosti, ki označujejo slikovne pike sivine slike, ciljni izhodni vzorec pa je lahko vektor, katerega vrednosti vseh koordinat morajo biti enake 0, z izjemo koordinata, ki ustreza razredu "H", katere vrednost mora biti enaka.

Slika 3.1 prikazuje okvirni diagram, ki ponazarja to obliko učenja. Predpostavimo, da sta učitelj in učna mreža dobila vektor usposabljanja iz okolju. Na podlagi vgrajenega znanja lahko učitelj generira in posreduje izurjeni nevronski mreži želeni odziv, ki ustreza podanemu vhodnemu vektorju. Parametri omrežja so prilagojeni ob upoštevanju vektorja usposabljanja in signala napake. Signal napake je razlika med želenim signalom in trenutnim odzivom nevronske mreže. Po končanem usposabljanju lahko učitelja izklopite in nevronski mreži omogočite, da sama dela z okoljem.

Slika 3.1 – Koncept usposabljanja ANN z učiteljem.

Algoritem usposabljanja perceptrona vključuje naslednje korake:

· Sistem je predstavljen z referenčno sliko.

· Če rezultat prepoznave sovpada z navedenim, se utežni koeficienti povezav ne spremenijo.

· Če ANN nepravilno prepozna rezultat, se utežni koeficienti povečajo v smeri povečanja kakovosti prepoznave.

Umetni nevron

Umetni nevron (Matematični nevron McCulloch-Pitts, Formalni nevron) - vozlišče umetne nevronske mreže, ki je poenostavljen model naravnega nevrona. Matematično je umetni nevron običajno predstavljen kot neka nelinearna funkcija enega samega argumenta - linearna kombinacija vseh vhodnih signalov. Ta funkcija se imenuje aktivacijska funkcija oz sprožilna funkcija, prenosna funkcija. Nastali rezultat se pošlje na en izhod. Takšni umetni nevroni so združeni v mreže – povezujejo izhode nekaterih nevronov z vhodi drugih. Umetni nevroni in mreže so glavni elementi idealnega nevroračunalnika.

Biološki prototip

Biološki nevron je sestavljen iz telesa s premerom od 3 do 100 μm, ki vsebuje jedro (z velikim številom jedrskih por) in druge organele (vključno z visoko razvitim grobim ER z aktivnimi ribosomi, Golgijev aparat) in procese. Obstajata dve vrsti procesov. Akson je običajno dolg proces, prilagojen za izvajanje vzbujanja iz telesa nevrona. Dendriti so praviloma kratki in zelo razvejani procesi, ki služijo kot glavno mesto nastajanja ekscitatornih in inhibitornih sinaps, ki vplivajo na nevron (različni nevroni imajo različna razmerja med dolžinami aksonov in dendritov). Nevron ima lahko več dendritov in običajno samo en akson. En nevron ima lahko povezave z 20 tisoč drugimi nevroni. Človeška možganska skorja vsebuje 10-20 milijard nevronov.

Zgodovina razvoja

V tem primeru je možno premikati funkcijo po obeh oseh (kot je prikazano na sliki).

Slabosti stopničastih in pollinearnih aktivacijskih funkcij glede na linearne so, da niso diferencibilne na celotni numerični osi, zato jih ni mogoče uporabiti pri usposabljanju z nekaterimi algoritmi.

Funkcija aktivacije praga

Funkcija prenosa praga

Hiperbolični tangens

Tukaj je j-ta komponenta vektorja, dobavljena na vhod nevrona, in je j-ta komponenta vektorja, ki določa položaj središča prenosne funkcije. V skladu s tem se omrežja s takšnimi nevroni imenujejo verjetnostna in regresijska.

V resničnih omrežjih lahko aktivacijska funkcija teh nevronov odraža porazdelitev verjetnosti neke naključne spremenljivke ali nakazuje kakršne koli hevristične odvisnosti med količinami.

Druge prenosne funkcije

Zgoraj naštete funkcije so le del številnih funkcij prenosa, ki so trenutno v uporabi. Druge funkcije prenosa vključujejo:

Stohastični nevron

kjer ima verjetnostna porazdelitev običajno obliko sigme

uvedena je normalizacijska konstanta za pogoj normalizacije verjetnostne porazdelitve. Tako se nevron aktivira z verjetnostjo P(u). Parameter T je analog temperature (vendar ne temperature nevrona!) in določa motnjo v nevronski mreži. Če se T nagiba k 0, se bo stohastični nevron spremenil v navaden nevron s Heavisideovo prenosno funkcijo (pražna funkcija).

Modeliranje formalnih logičnih funkcij

Nevron s funkcijo prenosa praga lahko modelira različne logične funkcije. Slike ponazarjajo, kako lahko z nastavitvijo uteži vhodnih signalov in praga občutljivosti prisilite nevron, da izvede konjunkcijo (logično »IN«) in disjunkcijo (logično »ALI«) na vhodnih signalih ter logično negacijo vhodni signal. Te tri operacije so dovolj za modeliranje absolutno katere koli logične funkcije poljubnega števila argumentov.

Opombe

Literatura

Terekhov V.A., Efimov D.V., Tyukin I.Yu. Sistemi za nadzor nevronske mreže. - 1. - Višja šola, 2002. - Str. 184. - ISBN 5-06-004094-1
Kruglov V.V., Borisov V.V.