ઊંડા શિક્ષણ શું છે. ન્યુરલ નેટવર્ક્સ અને ડીપ લર્નિંગ: ભવિષ્ય નજીક છે

ડીપ લર્નિંગ શું છે? 3જી માર્ચ, 2016

આજકાલ તેઓ ફેશનેબલ ડીપ લર્નિંગ ટેક્નોલોજી વિશે વાત કરે છે જાણે કે તે સ્વર્ગમાંથી મન્ના હોય. પરંતુ શું વક્તાઓ સમજે છે કે તે ખરેખર શું છે? પરંતુ આનો કોઈ ખ્યાલ નથી ઔપચારિક વ્યાખ્યા, અને તે ટેક્નોલોજીના સંપૂર્ણ સ્ટેકને જોડે છે. આ પોસ્ટમાં, હું શક્ય તેટલી લોકપ્રિય અને આવશ્યકપણે સમજાવવા માંગુ છું કે આ શબ્દ પાછળ શું છે, તે શા માટે આટલું લોકપ્રિય છે અને આ તકનીકો આપણને શું આપે છે.

ટૂંકમાં, આ નવો ફંગલ શબ્દ (ડીપ લર્નિંગ) એ કેટલાક સરળ અમૂર્તમાંથી વધુ જટિલ અને ઊંડા એબ્સ્ટ્રેક્શન (પ્રતિનિધિત્વ) કેવી રીતે એસેમ્બલ કરવું તે વિશે છે. એ હકીકત હોવા છતાં કે સૌથી સરળ એબ્સ્ટ્રેક્શન્સ પણ કમ્પ્યુટર દ્વારા જ એસેમ્બલ થવું જોઈએ, વ્યક્તિ દ્વારા નહીં. તે. તે હવે માત્ર શીખવા વિશે નથી, પરંતુ મેટા-લર્નિંગ વિશે છે. અલંકારિક રીતે કહીએ તો, કોમ્પ્યુટર પોતે જ શીખવું જોઈએ કે કેવી રીતે શ્રેષ્ઠ શીખવું. અને, હકીકતમાં, "ઊંડા" શબ્દનો અર્થ આ બરાબર છે. આ શબ્દ લગભગ હંમેશા કૃત્રિમ ન્યુરલ નેટવર્ક્સ પર લાગુ થાય છે જે એક કરતાં વધુ છુપાયેલા સ્તરોનો ઉપયોગ કરે છે, તેથી ઔપચારિક રીતે "ડીપ" નો અર્થ વધુ ઊંડા ન્યુરલ નેટવર્ક આર્કિટેક્ચર પણ થાય છે.

અહીં ડેવલપમેન્ટ સ્લાઇડમાં તમે સ્પષ્ટપણે જોઈ શકો છો કે ડીપ લર્નિંગ રેગ્યુલર લર્નિંગથી કેટલું અલગ છે. હું પુનરાવર્તન કરું છું, ડીપ લર્નિંગની વિશિષ્ટતા એ છે કે મશીન પોતે જ લક્ષણો શોધે છે(કોઈ વસ્તુની મુખ્ય લાક્ષણિકતાઓ જેના દ્વારા એક વર્ગના ઑબ્જેક્ટને બીજાથી અલગ કરવાનું સૌથી સરળ છે) અને આ ચિહ્નોને અધિક્રમિક રીતે સંરચના કરે છે: સરળને વધુ જટિલમાં જોડવામાં આવે છે. નીચે આપણે આને ઉદાહરણ સાથે જોઈશું.

ચાલો ઇમેજ રેકગ્નિશન ટાસ્કનું ઉદાહરણ જોઈએ: પહેલાં, તેઓએ એક લેયર (1024×768 - લગભગ 800,000) સાથે નિયમિત ન્યુરલ નેટવર્કમાં વિશાળ સ્ટફ્ડ કર્યું સંખ્યાત્મક મૂલ્યો) ચિત્ર અને કમ્પ્યૂટરને ધીમે ધીમે મૃત્યુ પામતા જોયા, મેમરીના અભાવ અને ઓળખવા માટે કયા પિક્સેલ મહત્વપૂર્ણ છે અને કયા નથી તે સમજવામાં અસમર્થતાથી ગૂંગળામણ. આ પદ્ધતિની અસરકારકતાનો ઉલ્લેખ ન કરવો. આવા નિયમિત (છીછરા) ન્યુરલ નેટવર્કનું આર્કિટેક્ચર અહીં છે.

પછી તેઓએ સાંભળ્યું કે મગજ કેવી રીતે વિશેષતાઓને અલગ પાડે છે, અને તે આ સખત વંશવેલો રીતે કરે છે, અને તેઓએ ચિત્રોમાંથી વંશવેલો માળખું કાઢવાનું પણ નક્કી કર્યું. આ કરવા માટે, ન્યુરલ નેટવર્કમાં વધુ છુપાયેલા સ્તરો (સ્તરો કે જે ઇનપુટ અને આઉટપુટ વચ્ચે હોય છે; આશરે કહીએ તો, માહિતી પરિવર્તન તબક્કાઓ) ઉમેરવા જરૂરી હતું. તેમ છતાં જ્યારે ન્યુરોન્સની શોધ કરવામાં આવી ત્યારે તેઓએ લગભગ તરત જ આ કરવાનું નક્કી કર્યું, પછી ફક્ત એક છુપાયેલા સ્તરવાળા નેટવર્ક્સને સફળતાપૂર્વક તાલીમ આપવામાં આવી. તે. સૈદ્ધાંતિક રીતે, ડીપ નેટવર્ક્સ લગભગ નિયમિત જેટલા લાંબા સમયથી છે, અમે તેમને તાલીમ આપી શક્યા નથી. શું બદલાયું છે?

2006 માં, ઘણા સ્વતંત્ર સંશોધકોએ એક જ સમયે આ સમસ્યાનું નિરાકરણ કર્યું (આ ઉપરાંત, હાર્ડવેર ક્ષમતાઓ પહેલેથી જ પૂરતી વિકસિત થઈ ગઈ હતી, તદ્દન શક્તિશાળી વિડિઓ કાર્ડ્સ દેખાયા હતા). આ સંશોધકો છે: જ્યોફ્રી હિન્ટન (અને તેમના સાથીદાર રુસલાન સલાખુટિડિનોવ) ન્યુરલ નેટવર્કના દરેક સ્તરને અવરોધિત બોલ્ટ્ઝમેન મશીન સાથે પ્રી-ટ્રેઇનિંગની ટેકનિક સાથે (આ શરતો માટે મને માફ કરો...), યાન લેકન કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક સાથે, અને કાસ્કેડ ઓટોએનકોડર્સ સાથે યોશુએ બેન્જિયો. પ્રથમ બે તરત જ અનુક્રમે Google અને Facebook દ્વારા ભરતી કરવામાં આવ્યા હતા. અહીં બે પ્રવચનો છે: એક - હિન્ટન, અન્ય - લ્યાકુના, જેમાં તેઓ જણાવે છે કે ડીપ લર્નિંગ શું છે. આ વિશે તેમના કરતાં વધુ સારી રીતે કોઈ તમને કહી શકશે નહીં. અન્ય એક સરસ વ્યાખ્યાનઊંડા શિક્ષણના વિકાસ વિશે શ્મિધુબેર, આ વિજ્ઞાનના સ્તંભોમાંનું એક પણ છે. અને હિન્ટન પાસે ન્યુરોન્સ પરનો ઉત્તમ અભ્યાસક્રમ પણ છે.

ડીપ ન્યુરલ નેટવર્ક હવે શું કરી શકે? તેઓ વસ્તુઓને ઓળખી શકે છે અને તેનું વર્ણન કરી શકે છે. તે અર્થોને ઓળખવા વિશે છે.

કેમેરા શું જુએ છે તેની રીઅલ-ટાઇમ ઓળખનો આ વિડિયો જુઓ.

મેં પહેલેથી જ કહ્યું તેમ, ડીપ લર્નિંગ ટેક્નોલોજી એ ટેક્નોલોજી અને સોલ્યુશન્સનું સંપૂર્ણ જૂથ છે. મેં તેમાંથી ઘણાને ઉપરના ફકરામાં પહેલેથી જ સૂચિબદ્ધ કર્યા છે, બીજું ઉદાહરણ રિકરન્ટ નેટવર્ક્સ છે, જે નેટવર્ક શું જુએ છે તેનું વર્ણન કરવા માટે ઉપરના વિડિયોમાં ચોક્કસપણે ઉપયોગમાં લેવાય છે. પરંતુ ટેકનોલોજીના સૌથી લોકપ્રિય પ્રતિનિધિ આ વર્ગના- આ હજુ પણ LyaKun કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક છે. તેઓ બિલાડીના મગજના વિઝ્યુઅલ કોર્ટેક્સના સંચાલનના સિદ્ધાંતો સાથે સામ્યતા દ્વારા બનાવવામાં આવ્યા છે, જેમાં કહેવાતા સરળ કોષો શોધવામાં આવ્યા હતા જે નીચેની સીધી રેખાઓને પ્રતિસાદ આપે છે. વિવિધ ખૂણા, અને જટિલ - જેની પ્રતિક્રિયા સરળ કોષોના ચોક્કસ સમૂહના સક્રિયકરણ સાથે સંકળાયેલ છે. તેમ છતાં, પ્રમાણિકપણે, LaCun પોતે જીવવિજ્ઞાન પર ધ્યાન કેન્દ્રિત કરતું ન હતું, તેણે નક્કી કર્યું ચોક્કસ કાર્ય(તેના પ્રવચનો જુઓ), અને પછી તે એકરૂપ બન્યું.

તેને ખૂબ જ સરળ રીતે કહીએ તો, કન્વોલ્યુશનલ નેટવર્ક એ નેટવર્ક્સ છે જ્યાં શિક્ષણનું મુખ્ય માળખાકીય તત્વ ન્યુરોન્સનું જૂથ (સંયોજન) છે (સામાન્ય રીતે 3x3, 10x10 ચોરસ, વગેરે), અને માત્ર એક જ નહીં. અને નેટવર્કના દરેક સ્તરે, આવા ડઝનેક જૂથોને તાલીમ આપવામાં આવે છે. નેટવર્ક ચેતાકોષોના સંયોજનો શોધે છે જે છબી વિશેની માહિતીને મહત્તમ કરે છે. પ્રથમ સ્તરે, નેટવર્ક ચિત્રના સૌથી મૂળભૂત, માળખાકીય રીતે સરળ ઘટકોને બહાર કાઢે છે - કોઈ કહી શકે છે, એકમોનું નિર્માણ: સીમાઓ, સ્ટ્રોક, સેગમેન્ટ્સ, વિરોધાભાસ. હાયર અપ એ પહેલાથી જ પ્રથમ સ્તરના તત્વોના સ્થિર સંયોજનો છે, અને તેથી જ સાંકળ ઉપર. હું ફરીથી એક વાર અલગથી ડીપ લર્નિંગના મુખ્ય લક્ષણ પર ભાર મૂકવા માંગુ છું: નેટવર્ક પોતે જ આ તત્વો બનાવે છે અને તેમાંથી કયું વધુ મહત્વનું છે અને કયું નથી તે નક્કી કરે છે. આ મહત્વપૂર્ણ છે, કારણ કે મશીન લર્નિંગના ક્ષેત્રમાં, સુવિધાઓનું સર્જન મુખ્ય છે અને હવે આપણે એવા તબક્કામાં આગળ વધી રહ્યા છીએ જ્યારે કમ્પ્યુટર પોતે સુવિધાઓ બનાવવાનું અને પસંદ કરવાનું શીખે છે. મશીન પોતે માહિતીપ્રદ સુવિધાઓના વંશવેલોને ઓળખે છે.

તેથી, શીખવાની પ્રક્રિયા દરમિયાન (સેંકડો ચિત્રો જોતા), કન્વ્યુલેશનલ નેટવર્ક વિવિધ ઊંડાણ સ્તરોની વિશેષતાઓનો વંશવેલો બનાવે છે. પ્રથમ સ્તરે, તેઓ હાઇલાઇટ કરી શકે છે, ઉદાહરણ તરીકે, આવા તત્વો (વિરોધાભાસ, કોણ, સરહદ, વગેરેને પ્રતિબિંબિત કરે છે).


બીજા સ્તર પર, આ પહેલાથી જ પ્રથમ સ્તરના ઘટકોમાંથી એક તત્વ હશે. ત્રીજા પર - બીજાથી. તમારે સમજવું જોઈએ કે આ ચિત્ર માત્ર એક પ્રદર્શન છે. હવે ખાતે ઔદ્યોગિક એપ્લિકેશન, આવા નેટવર્કમાં 10 થી 30 સ્તરો (સ્તરો) હોય છે.

આવા નેટવર્કને પ્રશિક્ષિત કર્યા પછી, અમે તેનો ઉપયોગ વર્ગીકરણ માટે કરી શકીએ છીએ. ઇનપુટ તરીકે કેટલીક છબી આપ્યા પછી, પ્રથમ સ્તરમાં ચેતાકોષોના જૂથો સમગ્ર ઇમેજમાં ચાલે છે, તે સ્થાનો પર સક્રિય થાય છે જ્યાં ચોક્કસ તત્વને અનુરૂપ ચિત્રનું તત્વ હોય છે. તે. આ નેટવર્ક ચિત્રને ભાગોમાં પાર્સ કરે છે - પ્રથમ રેખાઓ, સ્ટ્રોક, ઝોકના ખૂણામાં, પછી વધુ જટિલ ભાગો અને અંતે તે નિષ્કર્ષ પર આવે છે કે ચિત્ર આ પ્રકારના સંયોજનથી છે. મૂળભૂત તત્વો- આ ચહેરો છે.

કન્વોલ્યુશનલ નેટવર્ક્સ વિશે વધુ -

બિગ ડેટા અને મશીન લર્નિંગના સંદર્ભમાં અને તેની બહાર, આજે આર્ટિફિશિયલ ન્યુરલ નેટવર્ક્સ વિશે ઘણી બધી વાતો અને લખાણ છે. આ લેખમાં આપણે આ ખ્યાલના અર્થને યાદ કરીશું, ફરી એકવાર તેની એપ્લિકેશનના અવકાશની રૂપરેખા આપીશું અને તેના વિશે પણ વાત કરીશું. મહત્વપૂર્ણ અભિગમ, જે ન્યુરલ નેટવર્ક્સ સાથે સંકળાયેલ છે - ડીપ લર્નિંગ, અમે તેની વિભાવના, તેમજ ચોક્કસ ઉપયોગના કેસોમાં ફાયદા અને ગેરફાયદાનું વર્ણન કરીશું.

ન્યુરલ નેટવર્ક શું છે?

જેમ તમે જાણો છો, ન્યુરલ નેટવર્ક (NN) ની વિભાવના જીવવિજ્ઞાનમાંથી આવે છે અને તે માનવ મગજની રચનાનું કંઈક અંશે સરળ મોડેલ છે. પરંતુ ચાલો કુદરતી વિજ્ઞાનના જંગલોમાં ન જઈએ - સૌથી સહેલો રસ્તો એ છે કે ઘણા ઇનપુટ છિદ્રો અને એક આઉટપુટ સાથે એક પ્રકારનાં બ્લેક બોક્સ તરીકે ન્યુરોન (કૃત્રિમ એક સહિત) ની કલ્પના કરવી.

ગાણિતિક રીતે, કૃત્રિમ ચેતાકોષ એક સક્રિયકરણ કાર્ય તરીકે ઓળખાતા કાર્યનો ઉપયોગ કરીને ઇનપુટ સિગ્નલોના વેક્ટર (અસર) X ને આઉટપુટ સિગ્નલ Y ના વેક્ટરમાં પરિવર્તિત કરે છે. જોડાણની અંદર (કૃત્રિમ ન્યુરલ નેટવર્ક - ANN), ત્રણ પ્રકારના ન્યુરોન્સ કાર્ય કરે છે: ઇનપુટ (માહિતી મેળવવી બહારની દુનિયા- ચલોના મૂલ્યો જેમાં અમને રસ છે), આઉટપુટ (ઇચ્છિત ચલો પરત કરવા - ઉદાહરણ તરીકે, આગાહીઓ અથવા નિયંત્રણ સંકેતો), તેમજ મધ્યવર્તી - ચેતાકોષો જે ચોક્કસ આંતરિક ("છુપાયેલ") કાર્યો કરે છે. ક્લાસિકલ ANN આમ ચેતાકોષોના ત્રણ અથવા વધુ સ્તરો ધરાવે છે, અને બીજા અને અનુગામી સ્તરોમાં ("છુપાયેલ" અને આઉટપુટ), દરેક તત્વ અગાઉના સ્તરના તમામ ઘટકો સાથે જોડાયેલ છે.

ખ્યાલ યાદ રાખવું અગત્યનું છે પ્રતિસાદ, જે ANN માળખાના પ્રકારને નિર્ધારિત કરે છે: ડાયરેક્ટ સિગ્નલ ટ્રાન્સમિશન (સિગ્નલ્સ ક્રમશઃ ઇનપુટ લેયરમાંથી છુપાયેલા સ્તર દ્વારા જાય છે અને આઉટપુટ લેયરમાં પ્રવેશ કરે છે) અને રિકરન્ટ સ્ટ્રક્ચર, જ્યારે નેટવર્કમાં વધુ દૂરથી નજીકના ચેતાકોષો સુધી પાછા જતા જોડાણો હોય છે). આ તમામ ખ્યાલો ANN ને સમજવાના આગલા સ્તર પર જવા માટે જરૂરી ન્યૂનતમ માહિતીની રચના કરે છે - ન્યુરલ નેટવર્કને તાલીમ આપવી, તેની પદ્ધતિઓનું વર્ગીકરણ કરવું અને તેમાંથી દરેકના સંચાલનના સિદ્ધાંતોને સમજવું.

ન્યુરલ નેટવર્ક તાલીમ

સામાન્ય રીતે આવી શ્રેણીઓ શા માટે વપરાય છે તે આપણે ભૂલવું જોઈએ નહીં - અન્યથા અમૂર્ત ગણિતમાં ફસાઈ જવાનું જોખમ રહેલું છે. વાસ્તવમાં, કૃત્રિમ ન્યુરલ નેટવર્કનો અર્થ ચોક્કસ ઉકેલવા માટેની પદ્ધતિઓનો વર્ગ છે વ્યવહારુ સમસ્યાઓ, જેમાંથી મુખ્ય મુદ્દાઓ પેટર્નની ઓળખ, નિર્ણય લેવા, અંદાજ અને ડેટા કમ્પ્રેશનની સમસ્યાઓ છે, તેમજ ક્લસ્ટર વિશ્લેષણ અને આગાહીની સમસ્યાઓ અમારા માટે સૌથી રસપ્રદ છે.

અન્ય આત્યંતિક તરફ ગયા વિના અને દરેક ચોક્કસ કેસમાં ANN પદ્ધતિઓના સંચાલનની વિગતોમાં ગયા વિના, ચાલો આપણે આપણી જાતને યાદ અપાવીએ કે કોઈ પણ સંજોગોમાં તે શીખવાની ન્યુરલ નેટવર્કની ક્ષમતા છે (શિક્ષક સાથે અથવા "પોતાની રીતે" ) એટલે કે મુખ્ય મુદ્દોવ્યવહારિક સમસ્યાઓ ઉકેલવા માટે તેનો ઉપયોગ કરવો.

સામાન્ય રીતે, ANN ને તાલીમ આપવામાં આવે છે:

1. ઇનપુટ ન્યુરોન્સ બાહ્ય વાતાવરણમાંથી ચલ ("ઉત્તેજના") મેળવે છે;
2. પ્રાપ્ત માહિતી અનુસાર, ન્યુરલ નેટવર્ક બદલાતા મુક્ત પરિમાણો (ચેતાકોષોના મધ્યવર્તી સ્તરો કાર્ય કરે છે);
3. ન્યુરલ નેટવર્કની રચનામાં ફેરફારના પરિણામે, નેટવર્ક માહિતીને અલગ રીતે "પ્રતિક્રિયા" કરે છે.

તે કેવી રીતે સામાન્ય અલ્ગોરિધમનોન્યુરલ નેટવર્કને તાલીમ આપવી (પાવલોવના કૂતરાને યાદ રાખો - હા, રચનાની આંતરિક પદ્ધતિ કન્ડિશન્ડ રીફ્લેક્સતે બરાબર છે - અને ચાલો તરત જ ભૂલી જઈએ: છેવટે, આપણો સંદર્ભ તકનીકી વિભાવનાઓ અને ઉદાહરણો સાથે કામ કરવાનું અનુમાન કરે છે).

તે સ્પષ્ટ છે કે સાર્વત્રિક શિક્ષણ અલ્ગોરિધમ અસ્તિત્વમાં નથી અને, મોટે ભાગે, અસ્તિત્વમાં નથી; સૈદ્ધાંતિક રીતે, અધ્યયન માટેના અભિગમોને નિરીક્ષિત શિક્ષણ અને અસુપરવાઇઝ શિક્ષણમાં વિભાજિત કરવામાં આવે છે. પ્રથમ અલ્ગોરિધમ ધારે છે કે દરેક ઇનપુટ ("લર્નિંગ") વેક્ટર માટે આઉટપુટ ("લક્ષ્ય") વેક્ટરનું આવશ્યક મૂલ્ય છે - આમ, આ બે મૂલ્યો એક તાલીમ જોડી બનાવે છે, અને આવી જોડીનો સંપૂર્ણ સમૂહ તાલીમ સમૂહ. અસુરક્ષિત શિક્ષણના કિસ્સામાં, તાલીમ સમૂહમાં ફક્ત ઇનપુટ વેક્ટરનો સમાવેશ થાય છે - અને આ પરિસ્થિતિ વાસ્તવિક જીવનના દૃષ્ટિકોણથી વધુ બુદ્ધિગમ્ય છે.

ગહન શિક્ષણ

ડીપ લર્નિંગનો ખ્યાલ બીજા વર્ગીકરણનો સંદર્ભ આપે છે અને કહેવાતા ડીપ સ્ટ્રક્ચર્સને તાલીમ આપવાના અભિગમને સૂચવે છે, જેમાં બહુ-સ્તરીય ન્યુરલ નેટવર્કનો સમાવેશ થાય છે. છબી ઓળખના ક્ષેત્રનું એક સરળ ઉદાહરણ: મશીનને અન્ય અમૂર્ત લક્ષણોની દ્રષ્ટિએ વધુને વધુ અમૂર્ત લક્ષણો ઓળખવા માટે શીખવવું જરૂરી છે, એટલે કે, સમગ્ર ચહેરા, આંખો અને મોંની અભિવ્યક્તિ વચ્ચેનો સંબંધ નક્કી કરવા માટે, અને, આખરે, ગાણિતિક રીતે રંગીન પિક્સેલના ક્લસ્ટરો. આમ, ઊંડા ન્યુરલ નેટવર્કમાં, દરેક સ્તરની સુવિધાઓનું પોતાનું સ્તર હોય છે; તે સ્પષ્ટ છે કે આવા "કોલોસસ" ને તાલીમ આપવા માટે, સંશોધકોનો યોગ્ય અનુભવ અને સ્તર હાર્ડવેર. માત્ર 2006 સુધીમાં ડીપ ન્યુરલ લર્નિંગની તરફેણમાં પરિસ્થિતિઓ વિકસિત થઈ હતી - અને આઠ વર્ષ પછી આપણે મશીન લર્નિંગમાં આ અભિગમથી જે ક્રાંતિ સર્જાઈ છે તેના વિશે વાત કરી શકીએ છીએ.

તેથી, સૌ પ્રથમ, અમારા લેખના સંદર્ભમાં, તે નીચેની બાબતોને ધ્યાનમાં લેવા યોગ્ય છે: મોટાભાગના કિસ્સાઓમાં ઊંડું શિક્ષણ વ્યક્તિ દ્વારા દેખરેખ રાખવામાં આવતું નથી. એટલે કે, આ અભિગમમાં શિક્ષક વિના ન્યુરલ નેટવર્કને તાલીમ આપવાનો સમાવેશ થાય છે. આ "ઊંડા" અભિગમનો મુખ્ય ફાયદો છે: નિરીક્ષણ કરેલ મશીન લર્નિંગ, ખાસ કરીને ઊંડા માળખાના કિસ્સામાં, ઘણો સમય - અને શ્રમ - ખર્ચની જરૂર છે. ડીપ લર્નિંગ એ એક અભિગમ છે જે માનવને મોડેલ બનાવે છે અમૂર્ત વિચાર(અથવા ઓછામાં ઓછું તેનો ઉપયોગ કરવાને બદલે તેનો સંપર્ક કરવાનો પ્રયાસ રજૂ કરે છે).

આ વિચાર, હંમેશની જેમ, અદ્ભુત છે, પરંતુ અભિગમના માર્ગમાં તદ્દન કુદરતી સમસ્યાઓ ઊભી થાય છે - સૌ પ્રથમ, તેના વૈશ્વિકતાના દાવાઓમાં મૂળ છે. વાસ્તવમાં, જ્યારે ઈમેજ રેકગ્નિશનના ક્ષેત્રમાં ઊંડા શિક્ષણના અભિગમોએ નોંધપાત્ર સફળતા હાંસલ કરી છે, ત્યારે એ જ કુદરતી ભાષા પ્રક્રિયા હજુ પણ જવાબો કરતાં ઘણા વધુ પ્રશ્નો ઉભા કરે છે. તે સ્પષ્ટ છે કે આગામી n વર્ષોમાં તે અસંભવિત છે કે "કૃત્રિમ લિયોનાર્ડો દા વિન્સી" અથવા તો - ઓછામાં ઓછું બનાવવું શક્ય બનશે! - "કૃત્રિમ હોમો સેપિયન્સ".

જો કે, આર્ટિફિશિયલ ઇન્ટેલિજન્સ સંશોધકો પહેલેથી જ નૈતિકતાના પ્રશ્નનો સામનો કરી રહ્યા છે: દરેક સ્વાભિમાની સાયન્સ ફિક્શન ફિલ્મમાં વ્યક્ત કરાયેલ ડર, "ટર્મિનેટર" થી શરૂ થાય છે અને "ટ્રાન્સફોર્મર્સ" સાથે સમાપ્ત થાય છે, તે હવે રમુજી લાગતું નથી (આધુનિક અત્યાધુનિક ન્યુરલ નેટવર્ક્સ પહેલેથી જ હોઈ શકે છે. જંતુના મગજનું કાર્ય એક બુદ્ધિગમ્ય મોડેલ માનવામાં આવે છે!), પરંતુ હાલમાં તે સ્પષ્ટપણે બિનજરૂરી છે.

આદર્શ તકનીકી ભાવિ અમને એક યુગ તરીકે દેખાય છે જ્યારે વ્યક્તિ તેની મોટાભાગની શક્તિઓ મશીનને સોંપવામાં સક્ષમ હશે - અથવા ઓછામાં ઓછું તે તેના બૌદ્ધિક કાર્યના નોંધપાત્ર ભાગની સુવિધા આપવા માટે સક્ષમ હશે. ડીપ લર્નિંગનો ખ્યાલ આ સ્વપ્ન તરફનું એક પગલું છે. આગળનો રસ્તો લાંબો છે, પરંતુ તે પહેલાથી જ સ્પષ્ટ છે કે ન્યુરલ નેટવર્ક અને તેમની સાથે સંકળાયેલ વિકસતા અભિગમો આખરે વિજ્ઞાન સાહિત્ય લેખકોની આકાંક્ષાઓને સાકાર કરવામાં સક્ષમ છે.

ધ કમિંગ રિવોલ્યુશન સ્માર્ટ રોબોટ્સ 1950 થી દર દસ વર્ષે આગાહી કરવામાં આવી છે. જો કે, તે ક્યારેય બન્યું નથી. કાર્યક્ષેત્રમાં પ્રગતિ થાય કૃત્રિમ બુદ્ધિઅનિશ્ચિતતાપૂર્વક, ક્યારેક કંટાળાજનક રીતે, ઘણા ઉત્સાહીઓ માટે નિરાશા લાવતા. દૃશ્યમાન સફળતાઓ - કમ્પ્યુટર ડીપ બ્લુ, 1990 ના દાયકાના મધ્યમાં IBM દ્વારા બનાવવામાં આવ્યું હતું અને જેણે 1997માં ગેરી કાસ્પારોવને ચેસમાં હરાવ્યો હતો, અથવા 1990 ના દાયકાના અંતમાં ઇલેક્ટ્રોનિક અનુવાદકનો દેખાવ - મિકેનિઝમ્સના સ્થાનાંતરણ કરતાં વધુ "રફ" ગણતરીઓનું પરિણામ હતું. માનવ દ્રષ્ટિકમ્પ્યુટર કમ્પ્યુટિંગ પ્રક્રિયાઓ પર.

જો કે, નિરાશા અને નિષ્ફળતાની વાર્તા હવે નાટકીય રીતે બદલાઈ રહી છે. માત્ર દસ વર્ષ પહેલાં, કોમ્પ્યુટર વિઝન અને ઑબ્જેક્ટ રેકગ્નિશન એલ્ગોરિધમ્સ સાદા પૃષ્ઠભૂમિ સામે ગોળ અથવા બૉક્સને ઓળખી શકતા હતા. તેઓ હવે માનવ ચહેરાઓને ઓળખી શકે છે તેમજ માણસો, જટિલ પર પણ, કુદરતી પૃષ્ઠભૂમિ. છ મહિના પહેલા, ગૂગલે સ્માર્ટફોન્સ માટે એક એપ્લિકેશન બહાર પાડી હતી જે 20 થી વધુમાંથી ટેક્સ્ટનું ભાષાંતર કરી શકે છે વિદેશી ભાષાઓફોટોગ્રાફ્સ, રસ્તાના ચિહ્નો અથવા હસ્તલિખિત ટેક્સ્ટમાંથી શબ્દો વાંચીને!

આ બધું તે સ્પષ્ટ થયા પછી શક્ય બન્યું કે ન્યુરલ નેટવર્કના ક્ષેત્રમાં કેટલાક જૂના વિચારો, જો "જીવન" ઉમેરીને થોડો ફેરફાર કરવામાં આવે, એટલે કે. માનવ અને પ્રાણીઓની સમજણની વિગતો રજૂ કરવાથી અદભૂત પરિણામ મળી શકે છે જેની કોઈએ અપેક્ષા નહોતી કરી. આ વખતે, આર્ટિફિશિયલ ઇન્ટેલિજન્સ ક્રાંતિ ખરેખર વાસ્તવિક લાગે છે.

મશીન લર્નિંગના ક્ષેત્રમાં ન્યુરલ નેટવર્ક્સ પર સંશોધન મોટાભાગના કિસ્સાઓમાં હંમેશા નવી ઓળખ તકનીકોની શોધ માટે સમર્પિત છે. વિવિધ પ્રકારોડેટા આમ, ઇમેજ રેકગ્નિશન એલ્ગોરિધમનો ઉપયોગ કરીને, કેમેરા સાથે જોડાયેલ કોમ્પ્યુટરને અલગ પાડવા માટે સક્ષમ હોવું આવશ્યક છે. નબળી ગુણવત્તા માનવ ચહેરો, એક કપ ચા અથવા કૂતરો. ઐતિહાસિક રીતે, જો કે, આ હેતુઓ માટે ન્યુરલ નેટવર્કનો ઉપયોગ નોંધપાત્ર મુશ્કેલીઓ સાથે છે. નાની સફળતા માટે પણ માનવ હસ્તક્ષેપની જરૂર હતી - લોકોએ પ્રોગ્રામ નક્કી કરવામાં મદદ કરી મહત્વપૂર્ણ લક્ષણોછબીઓ, જેમ કે ઇમેજ બોર્ડર્સ અથવા સરળ ભૌમિતિક આકારો. હાલના અલ્ગોરિધમ્સતેઓ તે જાતે કરવાનું શીખી શક્યા નહીં.

કહેવાતી રચનાને કારણે પરિસ્થિતિ નાટકીય રીતે બદલાઈ ગઈ છે ઊંડા શિક્ષણ સાથે ન્યુરલ નેટવર્ક, જે હવે લગભગ એક માનવ જેટલી જ કાર્યક્ષમ રીતે છબીનું વિશ્લેષણ કરી શકે છે. આવા ન્યુરલ નેટવર્ક્સ પ્રથમ સ્તરના "ન્યુરોન્સ" માં ઇનપુટ તરીકે નબળી ગુણવત્તાની છબીનો ઉપયોગ કરે છે, જે પછીના સ્તરના ચેતાકોષોમાં બિન-રેખીય જોડાણો દ્વારા "ચિત્ર" ને પ્રસારિત કરે છે. ચોક્કસ તાલીમ પછી, "ન્યુરોન્સ" વધુ હોય છે ઉચ્ચ સ્તરોઓળખ માટે છબીના વધુ અમૂર્ત પાસાઓનો ઉપયોગ કરી શકે છે. ઉદાહરણ તરીકે, તેઓ છબીની સરહદો અથવા અવકાશમાં તેના સ્થાનની સુવિધાઓ જેવી વિગતોનો ઉપયોગ કરી શકે છે. આશ્ચર્યજનક રીતે, આવા નેટવર્ક્સ માનવ સહાય વિના છબીની સૌથી મહત્વપૂર્ણ લાક્ષણિકતાઓનો અંદાજ કાઢવાનું શીખી શકે છે!

ડીપ લર્નિંગ ન્યુરલ નેટવર્કનો ઉપયોગ કરવાનું એક ઉત્તમ ઉદાહરણ અલગ-અલગ ખૂણાઓથી અથવા અલગ-અલગ પોઝમાં ફોટોગ્રાફ કરાયેલી સમાન વસ્તુઓને ઓળખવાનું છે (જો અમે વાત કરી રહ્યા છીએવ્યક્તિ અથવા પ્રાણી વિશે). પિક્સેલ-બાય-પિક્સેલ સ્કેનિંગનો ઉપયોગ કરતા અલ્ગોરિધમ્સ "વિચારે છે કે" તેઓ બે અલગ-અલગ ઈમેજો જોઈ રહ્યા છે, જ્યારે "સ્માર્ટ" ન્યુરલ નેટવર્ક "સમજે છે" કે તેઓ એક જ ઑબ્જેક્ટ જોઈ રહ્યાં છે. અને ઊલટું - એક જ પોઝમાં ફોટોગ્રાફ કરાયેલ વિવિધ જાતિના બે કૂતરાઓની છબીઓ, અગાઉના અલ્ગોરિધમ્સ દ્વારા સમાન કૂતરાના ફોટોગ્રાફ્સ તરીકે જોઈ શકાય છે. ન્યુરલ નેટવર્ક્સડીપ લર્નિંગ સાથે ઈમેજીસમાં વિગતો ઓળખી શકે છે જે તેમને પ્રાણીઓ વચ્ચે તફાવત કરવામાં મદદ કરશે.

ડીપ લર્નિંગ ટેક્નિક, અદ્યતન ન્યુરોસાયન્સ જ્ઞાન અને શક્તિનું સંયોજન આધુનિક કમ્પ્યુટર્સઆર્ટિફિશિયલ ઇન્ટેલિજન્સ માટે એવી સંભાવનાઓ ખોલે છે જેનું આપણે હજી મૂલ્યાંકન પણ કરી શકતા નથી. સત્ય પહેલેથી જ સ્પષ્ટ છે કે મન માત્ર જૈવિક પ્રકૃતિ ધરાવતું નથી.

આજે, ગ્રાફ એ મશીન લર્નિંગ સિસ્ટમમાં બનાવેલ મોડલ્સનું વર્ણન કરવાની સૌથી સ્વીકાર્ય રીતોમાંની એક છે. આ કોમ્પ્યુટેશનલ આલેખ ચેતાકોષના શિરોબિંદુઓથી બનેલા છે જે સિનેપ્સ ધાર દ્વારા જોડાયેલા છે જે શિરોબિંદુઓ વચ્ચેના જોડાણોનું વર્ણન કરે છે.

સ્કેલર સેન્ટ્રલ અથવા વેક્ટર ગ્રાફિક્સ પ્રોસેસરથી વિપરીત, IPU, મશીન લર્નિંગ માટે રચાયેલ નવા પ્રકારનું પ્રોસેસર, આવા ગ્રાફ બનાવવાની મંજૂરી આપે છે. આલેખની હેરફેર કરવા માટે રચાયેલ કોમ્પ્યુટર એ મશીન લર્નિંગ દ્વારા બનાવવામાં આવેલ ગ્રાફ મોડેલોની ગણતરી કરવા માટે એક આદર્શ મશીન છે.

સૌથી વધુ એક સરળ રીતોમશીન ઇન્ટેલિજન્સની પ્રક્રિયાનું વર્ણન કરવાની રીત તેને કલ્પના કરવી છે. ગ્રાફકોર ડેવલપમેન્ટ ટીમે આવી ઈમેજોનો સંગ્રહ બનાવ્યો છે જે IPU પર પ્રદર્શિત થાય છે. તેના પર આધારિત હતી સોફ્ટવેરપોપ્લર, જે કૃત્રિમ બુદ્ધિના કાર્યની કલ્પના કરે છે. આ કંપનીના સંશોધકોએ એ પણ શોધી કાઢ્યું કે શા માટે ડીપ નેટવર્કને આટલી બધી મેમરીની જરૂર પડે છે અને સમસ્યાને ઉકેલવા માટે કયા ઉકેલો અસ્તિત્વમાં છે.

પોપ્લરમાં ગ્રાફિક્સ કમ્પાઈલરનો સમાવેશ થાય છે જે સ્ટાન્ડર્ડ મશીન લર્નિંગ ઑપરેશન્સને ઉચ્ચ ઑપ્ટિમાઇઝ્ડ IPU ઍપ્લિકેશન કોડમાં અનુવાદિત કરવા માટે બનાવવામાં આવ્યું હતું. તે તમને POPNN એકત્રિત કરવામાં આવે છે તે જ સિદ્ધાંતનો ઉપયોગ કરીને આ ગ્રાફને એકસાથે એકત્રિત કરવાની મંજૂરી આપે છે. લાઇબ્રેરીમાં સામાન્યકૃત આદિમ માટે વિવિધ શિરોબિંદુ પ્રકારોનો સમૂહ છે.

આલેખ એ દૃષ્ટાંત છે જેના પર તમામ સોફ્ટવેર આધારિત છે. પોપ્લરમાં, આલેખ તમને ગણતરી પ્રક્રિયાને વ્યાખ્યાયિત કરવાની મંજૂરી આપે છે, જ્યાં શિરોબિંદુઓ કામગીરી કરે છે અને ધાર તેમની વચ્ચેના સંબંધનું વર્ણન કરે છે. ઉદાહરણ તરીકે, જો તમે બે નંબરો એકસાથે ઉમેરવા માંગતા હો, તો તમે બે ઇનપુટ્સ (જે નંબરો તમે ઉમેરવા માંગો છો), કેટલીક ગણતરીઓ (બે નંબરો ઉમેરવાનું કાર્ય), અને આઉટપુટ (પરિણામ) વડે શિરોબિંદુને વ્યાખ્યાયિત કરી શકો છો.

સામાન્ય રીતે, ઉપર વર્ણવેલ ઉદાહરણ કરતાં શિરોબિંદુઓ સાથેની કામગીરી વધુ જટિલ હોય છે. તેઓ ઘણીવાર કોડલેટ્સ (કોડનામ) તરીકે ઓળખાતા નાના પ્રોગ્રામ્સ દ્વારા વ્યાખ્યાયિત કરવામાં આવે છે. ગ્રાફિકલ એબ્સ્ટ્રેક્શન આકર્ષક છે કારણ કે તે ગણતરીના બંધારણ વિશે કોઈ ધારણા કરતું નથી અને ગણતરીને એવા ઘટકોમાં વિભાજિત કરે છે જેનો IPU સંચાલન કરવા માટે ઉપયોગ કરી શકે છે.

પોપ્લર આ સરળ એબ્સ્ટ્રેક્શનનો ઉપયોગ ખૂબ મોટા ગ્રાફ બનાવવા માટે કરે છે જે ઈમેજ તરીકે રજૂ થાય છે. ગ્રાફની સૉફ્ટવેર જનરેશનનો અર્થ છે કે અમે તેને સૌથી વધુ સુનિશ્ચિત કરવા માટે જરૂરી ચોક્કસ ગણતરીઓ અનુસાર બનાવી શકીએ છીએ અસરકારક ઉપયોગ IPU સંસાધનો.

કમ્પાઈલર મશીન લર્નિંગ સિસ્ટમ્સમાં ઉપયોગમાં લેવાતા પ્રમાણભૂત ઑપરેશન્સને IPU માટે અત્યંત ઑપ્ટિમાઇઝ ઍપ્લિકેશન કોડમાં અનુવાદિત કરે છે. ગ્રાફ કમ્પાઇલર કોમ્પ્યુટેશનલ ગ્રાફની મધ્યવર્તી છબી બનાવે છે, જે એક અથવા વધુ IPU ઉપકરણો પર જમાવવામાં આવે છે. કમ્પાઈલર આ કોમ્પ્યુટેશનલ ગ્રાફને પ્રદર્શિત કરી શકે છે, તેથી ન્યુરલ નેટવર્ક ફ્રેમવર્ક લેવલ પર લખેલી એપ્લિકેશન કોમ્પ્યુટેશનલ ગ્રાફની ઈમેજ દર્શાવે છે જે IPU પર ચાલી રહી છે.

આગળ અને પાછળની દિશામાં સંપૂર્ણ એલેક્સનેટ તાલીમ ચક્રનો ગ્રાફ

પોપ્લર ગ્રાફિક્સ કમ્પાઈલરે એલેક્સનેટ વર્ણનને 18.7 મિલિયન શિરોબિંદુઓ અને 115.8 મિલિયન ધારના કોમ્પ્યુટેશનલ ગ્રાફમાં ફેરવ્યું. સ્પષ્ટપણે દૃશ્યમાન ક્લસ્ટરિંગ એ સ્તરો વચ્ચે સરળ સંચાર સાથે નેટવર્કના દરેક સ્તરમાં પ્રક્રિયાઓ વચ્ચે મજબૂત સંચારનું પરિણામ છે.

બીજું ઉદાહરણ એ એક સરળ સંપૂર્ણપણે કનેક્ટેડ નેટવર્ક છે, પ્રશિક્ષિત MNIST પર - કમ્પ્યુટર વિઝન માટે એક સરળ ડેટાસેટ, મશીન લર્નિંગમાં એક પ્રકારનું “હેલો, વર્લ્ડ”. આ ડેટાસેટનું અન્વેષણ કરવા માટેનું એક સરળ નેટવર્ક પોપ્લર એપ્લીકેશન દ્વારા સંચાલિત આલેખને સમજવામાં મદદ કરે છે. ટેન્સરફ્લો જેવા ફ્રેમવર્ક સાથે ગ્રાફ લાઇબ્રેરીઓને એકીકૃત કરીને, કંપની મશીન લર્નિંગ એપ્લિકેશન્સમાં IPU નો ઉપયોગ કરવાની એક સરળ રીત પ્રદાન કરે છે.

કમ્પાઇલરનો ઉપયોગ કરીને ગ્રાફ બનાવવામાં આવ્યા પછી, તેને એક્ઝિક્યુટ કરવાની જરૂર છે. આ ગ્રાફ એન્જિનનો ઉપયોગ કરીને શક્ય છે. ResNet-50 નું ઉદાહરણ તેની કામગીરી દર્શાવે છે.

ResNet-50 ગ્રાફ

ResNet-50 આર્કિટેક્ચર પુનરાવર્તિત પાર્ટીશનોમાંથી ઊંડા નેટવર્ક બનાવવાની મંજૂરી આપે છે. પ્રોસેસરને ફક્ત એક જ વાર આ વિભાગોને વ્યાખ્યાયિત કરવાની અને તેમને ફરીથી કૉલ કરવાની જરૂર છે. ઉદાહરણ તરીકે, conv4 લેવલ ક્લસ્ટરને છ વખત એક્ઝિક્યુટ કરવામાં આવે છે, પરંતુ ગ્રાફ પર માત્ર એક જ વાર મેપ કરવામાં આવે છે. ઇમેજ કન્વોલ્યુશનલ સ્તરોના વિવિધ આકારો પણ બતાવે છે, કારણ કે તેમાંના દરેકનો આલેખ આ પ્રમાણે બાંધવામાં આવ્યો છે. કુદરતી સ્વરૂપગણતરીઓ

એન્જિન કમ્પાઈલર દ્વારા જનરેટ કરાયેલા ગ્રાફનો ઉપયોગ કરીને મશીન લર્નિંગ મૉડલના અમલીકરણને બનાવે છે અને તેનું સંચાલન કરે છે. એકવાર તૈનાત થઈ ગયા પછી, ગ્રાફ એંજીન એપ્લીકેશન દ્વારા ઉપયોગમાં લેવાતા IPUs અથવા ઉપકરણોને મોનિટર કરે છે અને તેનો પ્રતિસાદ આપે છે.

ResNet-50 ઇમેજ સમગ્ર મોડલ બતાવે છે. આ સ્તરે વ્યક્તિગત શિરોબિંદુઓ વચ્ચેના જોડાણોને ઓળખવું મુશ્કેલ છે, તેથી તે વિસ્તૃત છબીઓ જોવા યોગ્ય છે. નીચે ન્યુરલ નેટવર્ક સ્તરોમાંના વિભાગોના કેટલાક ઉદાહરણો છે.

ડીપ નેટવર્કને આટલી બધી મેમરીની જરૂર કેમ છે?

આર્કિટેક્ચરને ક્રમિક પ્રોસેસિંગ અને ઉચ્ચ-ઘનતા મેમરી માટે DRAM ઑપ્ટિમાઇઝેશન માટે રચાયેલ પ્રોસેસર ચિપ્સનો ઉપયોગ કરીને ડિઝાઇન કરવામાં આવી હતી. આ બે ઉપકરણો વચ્ચેનું ઈન્ટરફેસ એક અડચણ છે જે બેન્ડવિડ્થ મર્યાદાઓ રજૂ કરે છે અને પાવર વપરાશમાં નોંધપાત્ર ઓવરહેડ ઉમેરે છે.

જો કે માનવ મગજ અને તે કેવી રીતે કાર્ય કરે છે તેની સંપૂર્ણ સમજ હજુ સુધી આપણી પાસે નથી, સામાન્ય રીતે એવું સમજવામાં આવે છે કે ત્યાં કોઈ મોટો અલગ મેમરી સ્ટોર નથી. માનવ મગજમાં લાંબા ગાળાની અને ટૂંકા ગાળાની મેમરીનું કાર્ય ન્યુરોન્સ + સિનેપ્સની રચનામાં જડિત હોવાનું માનવામાં આવે છે. સમ સરળ જીવોમાત્ર 300 થી વધુ ચેતાકોષોની ન્યુરલ મગજની રચનાવાળા કૃમિની જેમ, અમુક પ્રકારની મેમરી ફંક્શન.

પરંપરાગત પ્રોસેસરોમાં મેમરી બનાવવી એ સમસ્યાને દૂર કરવાનો એક માર્ગ છે અડચણોમેમરી, ખૂબ ઓછા પાવર વપરાશ પર પ્રચંડ બેન્ડવિડ્થને અનલૉક કરે છે. જો કે, ઓન-ચિપ મેમરી ખર્ચાળ છે અને તે ખરેખર મોટી માત્રામાં મેમરી માટે ડિઝાઇન કરવામાં આવી નથી કે જે હાલમાં ડીપ ન્યુરલ નેટવર્કને તાલીમ આપવા અને જમાવવા માટે ઉપયોગમાં લેવાતા CPUs અને GPUs સાથે જોડાયેલ છે.

તેથી આજે CPUs અને GPU-આધારિત ડીપ લર્નિંગ સિસ્ટમ્સમાં મેમરીનો ઉપયોગ કેવી રીતે થાય છે તે જોવાનું ઉપયોગી છે અને તમારી જાતને પૂછો: જ્યારે માનવ મગજ તેમના વિના બરાબર કામ કરે છે ત્યારે તેમને આટલા મોટા મેમરી સ્ટોરેજ ઉપકરણોની જરૂર કેમ પડે છે?

ઇનપુટ ડેટા, વજન અને સક્રિયકરણ કાર્યોને સંગ્રહિત કરવા માટે ન્યુરલ નેટવર્ક્સને મેમરીની જરૂર છે કારણ કે ઇનપુટ નેટવર્ક દ્વારા પ્રસારિત થાય છે. શીખવામાં, ઇનપુટ પર સક્રિયકરણ જાળવવું આવશ્યક છે જ્યાં સુધી તેનો ઉપયોગ આઉટપુટ ગ્રેડિએન્ટ્સમાં ભૂલોની ગણતરી કરવા માટે કરી શકાય નહીં.

ઉદાહરણ તરીકે, 50-સ્તરનું ResNet નેટવર્ક આશરે 26 મિલિયન વજન પરિમાણો ધરાવે છે અને પ્રતિ 16 મિલિયન સક્રિયકરણોની ગણતરી કરે છે. આગળની દિશા. જો તમે દરેક વજન અને સક્રિયકરણને સંગ્રહિત કરવા માટે 32-બીટ ફ્લોટનો ઉપયોગ કરો છો, તો તેને લગભગ 168MB જગ્યાની જરૂર પડશે. આ વજન અને સક્રિયકરણોને સંગ્રહિત કરવા માટે ઓછા ચોકસાઇ મૂલ્યનો ઉપયોગ કરીને, અમે આ સંગ્રહની જરૂરિયાતને અડધી અથવા ચારગણી કરી શકીએ છીએ.

એક મોટી મેમરી સમસ્યા એ હકીકતથી ઊભી થાય છે કે GPUs ગાઢ વેક્ટર તરીકે દર્શાવવામાં આવતા ડેટા પર આધાર રાખે છે. તેથી તેઓ સિદ્ધ કરવા માટે સિંગલ ઇન્સ્ટ્રક્શન થ્રેડ (SIMD) નો ઉપયોગ કરી શકે છે ઉચ્ચ ઘનતાગણતરીઓ CPU ઉચ્ચ-પ્રદર્શન કમ્પ્યુટિંગ માટે સમાન વેક્ટર એકમોનો ઉપયોગ કરે છે.

GPUs ની સિનેપ્સ પહોળાઈ 1024 બિટ્સ હોય છે, તેથી તેઓ 32-બીટ ફ્લોટિંગ પોઈન્ટ ડેટાનો ઉપયોગ કરે છે, તેથી તેઓ તેને 1024-બીટ ડેટાના વેક્ટર બનાવવા માટે 32 નમૂનાઓના સમાંતર મિની-બેચમાં વિભાજિત કરે છે. વેક્ટર સમાંતરતાનો આ અભિગમ સક્રિયકરણની સંખ્યામાં 32 ગણો વધારો કરે છે અને 2 GB કરતાં વધુની ક્ષમતા સાથે સ્થાનિક સંગ્રહની જરૂરિયાત વધારે છે.

મેટ્રિક્સ બીજગણિત માટે રચાયેલ GPUs અને અન્ય મશીનો પણ વજન અથવા ન્યુરલ નેટવર્ક સક્રિયકરણથી મેમરી લોડને આધિન છે. ડીપ ન્યુરલ નેટવર્ક્સમાં ઉપયોગમાં લેવાતા નાના કન્વોલ્યુશનને GPU અસરકારક રીતે કરી શકતા નથી. તેથી, "ઘટાડો" નામના રૂપાંતરણનો ઉપયોગ આ કન્વ્યુલેશનને માં રૂપાંતરિત કરવા માટે થાય છે મેટ્રિક્સ-મેટ્રિક્સ ગુણાકાર(GEMM), જે ગ્રાફિક્સ એક્સિલરેટર્સ અસરકારક રીતે હેન્ડલ કરી શકે છે.

ઇનપુટ ડેટા, અસ્થાયી મૂલ્યો અને પ્રોગ્રામ સૂચનાઓને સંગ્રહિત કરવા માટે વધારાની મેમરીની પણ જરૂર છે. હાઇ-એન્ડ GPU પર ResNet-50 ને તાલીમ આપતી વખતે મેમરી વપરાશનું માપન દર્શાવે છે કે તેને 7.5 GB થી વધુ સ્થાનિક DRAM ની જરૂર છે.

કેટલાક એવું વિચારી શકે છે કે નીચી કોમ્પ્યુટેશનલ ચોકસાઇ જરૂરી મેમરીની માત્રામાં ઘટાડો કરી શકે છે, પરંતુ આવું નથી. વજન અને સક્રિયકરણો માટે ડેટા મૂલ્યોને અડધા ચોકસાઇ પર સ્વિચ કરીને, તમે માત્ર અડધા SIMD વેક્ટર પહોળાઈ ભરશો, અડધા ઉપલબ્ધ ગણતરી સંસાધનોનો બગાડ કરશો. આની ભરપાઈ કરવા માટે, જ્યારે તમે GPU પર સંપૂર્ણ ચોકસાઇથી અડધા ચોકસાઇ પર સ્વિચ કરો છો, ત્યારે તમારે તમામ ઉપલબ્ધ ગણતરીનો ઉપયોગ કરવા માટે પૂરતા ડેટા સમાંતરને દબાણ કરવા માટે મિની-બેચનું કદ બમણું કરવું પડશે. આમ, નીચા ચોકસાઇ વજન અને GPU પર સક્રિયકરણ તરફ જવા માટે હજુ પણ 7.5GB થી વધુ ફ્રી-એક્સેસ ડાયનેમિક મેમરીની જરૂર છે.

આ સાથે મોટી સંખ્યામાંડેટા કે જે સંગ્રહિત કરવાની જરૂર છે, તે બધાને GPU માં ફિટ કરવું અશક્ય છે. દરેક કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક લેયરને બાહ્ય DRAM ની સ્થિતિ સંગ્રહિત કરવાની, આગામી નેટવર્ક સ્તરને લોડ કરવાની અને પછી સિસ્ટમમાં ડેટા લોડ કરવાની જરૂર છે. પરિણામે, પહેલેથી જ બેન્ડવિડ્થ-મર્યાદિત બાહ્ય મેમરી ઇન્ટરફેસ સતત ભીંગડાને ફરીથી લોડ કરવા અને સક્રિયકરણ કાર્યોને સંગ્રહિત અને પુનઃપ્રાપ્ત કરવાના વધારાના બોજથી પીડાય છે. આ નોંધપાત્ર રીતે તાલીમ સમયને ધીમું કરે છે અને નોંધપાત્ર રીતે ઊર્જા વપરાશમાં વધારો કરે છે.

આ સમસ્યાને હલ કરવાની ઘણી રીતો છે. પ્રથમ, ઑપરેશન જેમ કે સક્રિયકરણ કાર્યો "ઇન-પ્લેસ" કરી શકાય છે, જે ઇનપુટ ડેટાને સીધા આઉટપુટ પર ફરીથી લખવાની મંજૂરી આપે છે. આ રીતે હાલની મેમરીનો ફરીથી ઉપયોગ કરી શકાય છે. બીજું, માટે તક પુનઃઉપયોગનેટવર્ક પરના ઓપરેશન્સ અને તે ક્ષણે તેનો ઉપયોગ ન કરતા હોય તેવા ઓપરેશન્સ માટે સમાન મેમરીની ફાળવણી વચ્ચેના ડેટા નિર્ભરતાનું વિશ્લેષણ કરીને મેમરી મેળવી શકાય છે.

બીજો અભિગમ ખાસ કરીને અસરકારક છે જ્યારે નિશ્ચિત ફાળવેલ મેમરી બનાવવા માટે કમ્પાઈલ સમયે સમગ્ર ન્યુરલ નેટવર્કનું વિશ્લેષણ કરી શકાય છે, કારણ કે મેમરી મેનેજમેન્ટ ઓવરહેડ લગભગ શૂન્ય થઈ જાય છે. તે બહાર આવ્યું છે કે આ પદ્ધતિઓનું સંયોજન ન્યુરલ નેટવર્કના મેમરી વપરાશને બે થી ત્રણ ગણો ઘટાડી શકે છે.
બાયડુ ડીપ સ્પીચ ટીમ દ્વારા તાજેતરમાં ત્રીજો નોંધપાત્ર અભિગમ શોધાયો હતો. તેઓએ સક્રિયકરણ કાર્યોના મેમરી વપરાશમાં 16-ગણો ઘટાડો હાંસલ કરવા માટે વિવિધ મેમરી-સેવિંગ તકનીકોનો ઉપયોગ કર્યો, જેનાથી તેઓ 100 સ્તરો સાથે નેટવર્કને તાલીમ આપી શકે. અગાઉ, મેમરીની સમાન રકમ સાથે, તેઓ નવ સ્તરો સાથે નેટવર્કને તાલીમ આપી શકતા હતા.

મેમરી અને પ્રોસેસિંગ સંસાધનોને એક ઉપકરણમાં સંયોજિત કરવાથી કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક્સની કામગીરી અને કાર્યક્ષમતા તેમજ મશીન લર્નિંગના અન્ય સ્વરૂપોમાં સુધારો કરવાની નોંધપાત્ર સંભાવના છે. સિસ્ટમમાં સુવિધાઓ અને કામગીરીનું સંતુલન હાંસલ કરવા માટે મેમરી અને ગણતરી સંસાધનો વચ્ચે ટ્રેડ-ઓફ કરી શકાય છે.

અન્ય મશીન લર્નિંગ પદ્ધતિઓમાં ન્યુરલ નેટવર્ક્સ અને નોલેજ મોડલ્સને ગાણિતિક આલેખ તરીકે વિચારી શકાય છે. આ આલેખમાં સમાંતરતાનો મોટો જથ્થો કેન્દ્રિત છે. ગ્રાફમાં સમાનતાનો ઉપયોગ કરવા માટે રચાયેલ સમાંતર પ્રોસેસર મિની-બેચ પર આધાર રાખતું નથી અને જરૂરી સ્થાનિક સ્ટોરેજની માત્રાને નોંધપાત્ર રીતે ઘટાડી શકે છે.

વર્તમાન સંશોધન પરિણામો દર્શાવે છે કે આ બધી પદ્ધતિઓ ન્યુરલ નેટવર્કની કામગીરીમાં નોંધપાત્ર સુધારો કરી શકે છે. આધુનિક GPUs અને CPUs પાસે ખૂબ જ મર્યાદિત ઓનબોર્ડ મેમરી છે, કુલ માત્ર થોડા મેગાબાઈટ. નવા પ્રોસેસર આર્કિટેક્ચર્સ ખાસ કરીને મશીન લર્નિંગ બેલેન્સ મેમરી અને ઓન-ચિપ કોમ્પ્યુટ માટે રચાયેલ છે, જે વર્તમાન ટેક્નોલોજીઓ પર નોંધપાત્ર કામગીરી અને કાર્યક્ષમતા સુધારણા પ્રદાન કરે છે. કેન્દ્રીય પ્રોસેસર્સઅને ગ્રાફિક્સ એક્સિલરેટર્સ.

ડીપ લર્નિંગ ગ્રંથો સાથે કામ કરવાના દાખલા બદલી રહ્યું છે, પરંતુ તે કોમ્પ્યુટેશનલ ભાષાશાસ્ત્રીઓ અને ડેટા વૈજ્ઞાનિકોમાં શંકાનું કારણ બની રહ્યું છે. ન્યુરલ નેટવર્ક એ એક શક્તિશાળી પરંતુ તુચ્છ મશીન શિક્ષણ સાધન છે.

03.05.2017 દિમિત્રી ઇલ્વોવ્સ્કી, એકટેરીના ચેર્નાયક

ન્યુરલ નેટવર્ક્સ ટેક્સ્ટ્સમાં છુપાયેલા જોડાણો અને પેટર્ન શોધવાનું શક્ય બનાવે છે, પરંતુ આ જોડાણો સ્પષ્ટ રીતે રજૂ કરી શકાતા નથી. ન્યુરલ નેટવર્ક્સ, શક્તિશાળી હોવા છતાં, તદ્દન તુચ્છ સાધન છે, જે ડેટા વિશ્લેષણના ક્ષેત્રમાં ઔદ્યોગિક ઉકેલો વિકસાવતી કંપનીઓમાં અને અગ્રણી કોમ્પ્યુટેશનલ ભાષાશાસ્ત્રીઓમાં શંકાનું કારણ બને છે.

ન્યુરલ નેટવર્ક ટેક્નોલોજી અને ડીપ લર્નિંગ પ્રત્યેનો સામાન્ય આકર્ષણ કોમ્પ્યુટર ભાષાશાસ્ત્રને બાયપાસ કરી શક્યો નથી - પ્રાકૃતિક ભાષામાં ટેક્સ્ટની સ્વચાલિત પ્રક્રિયા. એસોસિએશન ફોર કોમ્પ્યુટેશનલ લિંગ્વિસ્ટિક્સ એસીએલની તાજેતરની પરિષદોમાં, આ ક્ષેત્રમાં મુખ્ય વૈજ્ઞાનિક મંચ, મોટાભાગની પ્રસ્તુતિઓ ન્યુરલ નેટવર્કના ઉપયોગને ઉકેલવા માટે સમર્પિત હતી. જાણીતી સમસ્યાઓ, અને માનક મશીન લર્નિંગ ટૂલ્સનો ઉપયોગ કરીને હલ ન કરી શકાય તેવા નવા અન્વેષણ માટે. ધ્યાન વધ્યુંન્યુરલ નેટવર્ક્સમાં ભાષાશાસ્ત્રીઓની રુચિ અનેક કારણોસર છે. ન્યુરલ નેટવર્કનો ઉપયોગ, સૌ પ્રથમ, કેટલાક માટે ઉકેલોની ગુણવત્તામાં નોંધપાત્ર સુધારો કરે છે પ્રમાણભૂત કાર્યોટેક્સ્ટ્સ અને સિક્વન્સનું વર્ગીકરણ, બીજું, ટેક્સ્ટ્સ સાથે સીધા કામ કરતી વખતે શ્રમની તીવ્રતા ઘટાડે છે, ત્રીજું, તમને નવી સમસ્યાઓ હલ કરવાની મંજૂરી આપે છે (ઉદાહરણ તરીકે, ચેટ બૉટો બનાવો). તે જ સમયે, ભાષાકીય સમસ્યાઓના નિરાકરણ માટે ન્યુરલ નેટવર્ક્સને સંપૂર્ણપણે સ્વતંત્ર પદ્ધતિ તરીકે ગણી શકાય નહીં.

પર પ્રથમ કામ ઊંડા શિક્ષણ(ઊંડું શિક્ષણ) 20મી સદીના મધ્યમાં છે. 1940 ના દાયકાની શરૂઆતમાં, વોરેન મેકકુલોચ અને વોલ્ટર પિટ્સે માનવ મગજના એક ઔપચારિક મોડેલની દરખાસ્ત કરી - એક કૃત્રિમ ન્યુરલ નેટવર્ક, અને થોડા સમય પછી ફ્રેન્ક રોઝેનબ્લાટે તેમના કાર્યને સામાન્ય બનાવ્યું અને કમ્પ્યુટર પર ન્યુરલ નેટવર્ક મોડેલ બનાવ્યું. પ્રથમ એલ્ગોરિધમનો ઉપયોગ કરીને ન્યુરલ નેટવર્કને તાલીમ આપવા પર કામ કરે છે બેકપ્રોપગેશનભૂલો 1960 ના દાયકાની છે (એલ્ગોરિધમ આગાહી ભૂલની ગણતરી કરે છે અને સ્ટોકેસ્ટિક ઓપ્ટિમાઇઝેશન તકનીકોનો ઉપયોગ કરીને તેને ઘટાડે છે). જો કે, તે બહાર આવ્યું છે કે, મગજનું અનુકરણ કરવાના વિચારની સુંદરતા અને લાવણ્ય હોવા છતાં, "પરંપરાગત" ન્યુરલ નેટવર્કને તાલીમ આપવામાં ઘણો સમય લાગે છે, અને નાના ડેટા સેટ પરના વર્ગીકરણ પરિણામો સરળ પદ્ધતિઓ દ્વારા મેળવેલા પરિણામો સાથે તુલનાત્મક છે. , જેમ કે સપોર્ટ વેક્ટર મશીનો (SVM). પરિણામે, ન્યુરલ નેટવર્ક્સ 40 વર્ષથી ભૂલી ગયા હતા, પરંતુ આજે તેમની સાથે કામ કરતી વખતે તેઓ ફરીથી માંગમાં આવ્યા છે. મોટા વોલ્યુમોઅસંગઠિત ડેટા, છબીઓ અને પાઠો.

ઔપચારિક દૃષ્ટિકોણથી, ન્યુરલ નેટવર્ક એ આપેલ આર્કિટેક્ચરનો નિર્દેશિત ગ્રાફ છે, જેના શિરોબિંદુઓ અથવા ગાંઠો કહેવામાં આવે છે. ન્યુરોન્સ. ગ્રાફના પ્રથમ સ્તરમાં ઇનપુટ નોડ્સ છે, છેલ્લા સ્તરમાં આઉટપુટ નોડ્સ છે, જેની સંખ્યા કાર્ય પર આધારિત છે. ઉદાહરણ તરીકે, બે વર્ગોમાં વર્ગીકરણ કરવા માટે, એક અથવા બે ચેતાકોષોને k વર્ગમાં વર્ગીકરણ માટે નેટવર્કના આઉટપુટ સ્તર પર મૂકી શકાય છે, k ચેતાકોષો મૂકી શકાય છે. ન્યુરલ નેટવર્ક ગ્રાફમાં અન્ય તમામ સ્તરોને સામાન્ય રીતે છુપાયેલા સ્તરો કહેવામાં આવે છે. એક સ્તર પર સ્થિત તમામ ચેતાકોષો ધાર દ્વારા આગલા સ્તરના તમામ ચેતાકોષો સાથે જોડાયેલા હોય છે, દરેક ધારનું વજન હોય છે. દરેક ચેતાકોષને સક્રિયકરણ કાર્ય સોંપવામાં આવે છે જે જૈવિક ચેતાકોષોની કામગીરીનું મોડેલ કરે છે: જ્યારે ઇનપુટ સિગ્નલ નબળો હોય ત્યારે તેઓ "શાંત" હોય છે, અને જ્યારે તેનું મૂલ્ય ચોક્કસ થ્રેશોલ્ડ કરતાં વધી જાય છે, ત્યારે તેઓ નેટવર્ક સાથે ઇનપુટ મૂલ્યને આગળ ધપાવે છે અને પ્રસારિત કરે છે. ઉદાહરણોનો ઉપયોગ કરીને ન્યુરલ નેટવર્કને તાલીમ આપવાનું કાર્ય (એટલે ​​​​કે, "ઑબ્જેક્ટ - સાચા જવાબ" જોડીનો ઉપયોગ કરીને) કિનારીઓનું વજન શોધવાનું છે, શ્રેષ્ઠ શક્ય રીતેસાચા જવાબોની આગાહી કરવી. તે સ્પષ્ટ છે કે તે આર્કિટેક્ચર છે - ન્યુરલ નેટવર્ક ગ્રાફના બંધારણની ટોપોલોજી - તે તેનું સૌથી મહત્વપૂર્ણ પરિમાણ છે. જો કે હજુ સુધી "ડીપ નેટવર્ક્સ" માટે કોઈ ઔપચારિક વ્યાખ્યા નથી, તે સામાન્ય રીતે સ્વીકારવામાં આવે છે કે તમામ ન્યુરલ નેટવર્કનો સમાવેશ થાય છે. મોટી સંખ્યામાંસ્તરો અથવા "બિન-પ્રમાણભૂત" સ્તરો (ઉદાહરણ તરીકે, ફક્ત પસંદ કરેલી લિંક્સ ધરાવતી અથવા અન્ય સ્તરો સાથે રિકર્ઝનનો ઉપયોગ કરીને).

ન્યુરલ નેટવર્કના અત્યાર સુધીના સૌથી સફળ ઉપયોગનું ઉદાહરણ ઇમેજ વિશ્લેષણ છે, પરંતુ ન્યુરલ નેટવર્ક ટેક્નોલોજીઓએ ટેક્સ્ટ ડેટા સાથેના કામમાં ધરમૂળથી ફેરફાર કર્યો છે. અગાઉ, ટેક્સ્ટના દરેક ઘટક (અક્ષર, શબ્દ અથવા વાક્ય) ને ઘણી સુવિધાઓનો ઉપયોગ કરીને વર્ણવવામાં આવતું હતું વિવિધ પ્રકૃતિના(મોર્ફોલોજિકલ, સિન્ટેક્ટિક, સિમેન્ટીક, વગેરે), પછી હવે ઘણા કાર્યોમાં જટિલ વર્ણનોની જરૂરિયાત અદૃશ્ય થઈ જાય છે. ન્યુરલ નેટવર્ક ટેક્નોલોજીના સિદ્ધાંતવાદીઓ અને પ્રેક્ટિશનરો ઘણીવાર "પ્રતિનિધિત્વ શિક્ષણ" વિશે વાત કરે છે - કાચા લખાણમાં, ફક્ત શબ્દો અને વાક્યોમાં વિભાજિત, ન્યુરલ નેટવર્ક અવલંબન અને પેટર્ન શોધી શકે છે અને સ્વતંત્ર રીતે એક વિશેષતા જગ્યા કંપોઝ કરવા સક્ષમ છે. કમનસીબે, આવી જગ્યામાં વ્યક્તિ કંઈપણ સમજી શકશે નહીં - તાલીમ દરમિયાન, ન્યુરલ નેટવર્ક ટેક્સ્ટના દરેક ઘટકને એક ગાઢ વેક્ટર સોંપે છે જેમાં શોધાયેલ "ઊંડા" સંબંધોનું પ્રતિનિધિત્વ કરતી ચોક્કસ સંખ્યાઓનો સમાવેશ થાય છે. ફીચર્સનો સબસેટ બાંધવા અને બાહ્ય જ્ઞાન આધારો શોધવાથી માંડીને ન્યુરલ નેટવર્કની અનુગામી તાલીમ માટે ટેક્સ્ટને માર્કઅપ કરવા અને ન્યુરલ નેટવર્કની અનુગામી તાલીમ માટે ટેક્સ્ટને માર્કઅપ કરવા પર ભાર મૂકે છે, જેની સરખામણીમાં નોંધપાત્ર રીતે વધુ ડેટાની જરૂર પડે છે. પ્રમાણભૂત પદ્ધતિઓ. મોટા પ્રમાણમાં ડેટાનો ઉપયોગ કરવાની જરૂરિયાત અને નબળી અર્થઘટન અને અણધારીતાને કારણે તે ચોક્કસપણે છે કે રેન્ડમ ફોરેસ્ટ્સ અને સપોર્ટ વેક્ટર મશીનો જેવા અન્ય સુસ્થાપિત લર્નિંગ અલ્ગોરિધમ્સથી વિપરીત, વાસ્તવિક ઔદ્યોગિક-સ્કેલ એપ્લિકેશન્સમાં ન્યુરલ નેટવર્કની માંગ નથી. તેમ છતાં, ન્યુરલ નેટવર્કનો ઉપયોગ સંખ્યાબંધ સ્વચાલિત ટેક્સ્ટ પ્રોસેસિંગ કાર્યોમાં થાય છે (ફિગ. 1).

ન્યુરલ નેટવર્ક્સની સૌથી લોકપ્રિય એપ્લિકેશનોમાંની એક એ ડિસ્ટ્રિબ્યુશનલ સિમેન્ટિક્સના ક્ષેત્ર સાથે સંબંધિત શબ્દોના વેક્ટરનું નિર્માણ છે: એવું માનવામાં આવે છે કે શબ્દનો અર્થ તેના સંદર્ભના અર્થ દ્વારા, આસપાસના શબ્દો દ્વારા સમજી શકાય છે. ખરેખર, જો આપણે લખાણમાં કેટલાક શબ્દથી અજાણ્યા હોઈએ જાણીતી ભાષા, તો પછી મોટાભાગના કિસ્સાઓમાં તમે તેનો અર્થ અનુમાન કરી શકો છો. શબ્દોના વેક્ટર્સ શબ્દના અર્થના ગાણિતિક મોડેલ તરીકે સેવા આપે છે: મોટા "શબ્દ-સંદર્ભ" મેટ્રિક્સમાં પંક્તિઓ, ટેક્સ્ટના એકદમ મોટા કોર્પસમાંથી બનેલ. પાડોશી શબ્દો, આપેલ શબ્દ સાથે સમાન વાક્યરચના અથવા સિમેન્ટીક બાંધકામમાં સમાવિષ્ટ શબ્દો, વગેરે ચોક્કસ શબ્દ માટે "સંદર્ભ" તરીકે કાર્ય કરી શકે છે આવા મેટ્રિક્સના કોષોમાં આવર્તન રેકોર્ડ કરી શકાય છે (કેટલી વખત શબ્દ આવ્યો છે આ સંદર્ભમાં), પરંતુ વધુ વખત તેઓ સકારાત્મક જોડીવાર પરસ્પર માહિતીના ગુણાંકનો ઉપયોગ કરે છે (પોઝિટિવ પોઈન્ટવાઇઝ પરસ્પર માહિતી, PPMI), જે દર્શાવે છે કે ચોક્કસ સંદર્ભમાં શબ્દનો દેખાવ કેટલો અવ્યવસ્થિત હતો. આવા મેટ્રિસીસનો ઉપયોગ શબ્દોના ક્લસ્ટરિંગ માટે અથવા શોધ શબ્દની નજીકના અર્થમાં હોય તેવા શબ્દો શોધવા માટે ખૂબ સફળતાપૂર્વક થઈ શકે છે.

2013 માં, ટોમસ મિકોલોવે એક પેપર પ્રકાશિત કર્યું જેમાં તેણે શબ્દ વેક્ટર્સને તાલીમ આપવા માટે ન્યુરલ નેટવર્કનો ઉપયોગ કરવાની દરખાસ્ત કરી, પરંતુ નાના પરિમાણ માટે: સૌથી સરળ આર્કિટેક્ચરના ન્યુરલ નેટવર્કને ટ્યુપલ્સ (શબ્દ, સંદર્ભો) નો ઉપયોગ કરીને તાલીમ આપવામાં આવી હતી અને આઉટપુટ પર દરેક શબ્દનો ઉપયોગ કરવામાં આવ્યો હતો. 300 તત્વોનો વેક્ટર સોંપ્યો. તે બહાર આવ્યું છે કે આવા વેક્ટર શબ્દોની સિમેન્ટીક નિકટતાને વધુ સારી રીતે વ્યક્ત કરે છે. ઉદાહરણ તરીકે, તેના પર તમે અર્થોના સરવાળો અને બાદબાકીની અંકગણિત કામગીરીને વ્યાખ્યાયિત કરી શકો છો અને નીચેના સમીકરણો મેળવી શકો છો: “પેરિસ - ફ્રાન્સ + રશિયા = મોસ્કો”; "રાજા - પુરુષ + સ્ત્રી = રાણી." અથવા શોધો વધારાનો શબ્દપંક્તિમાં "સફરજન, પિઅર, ચેરી, બિલાડીનું બચ્ચું." આ કાર્યમાં સામાન્ય નામ word2vec હેઠળ બે આર્કિટેક્ચર્સ, સ્કીપ-ગ્રામ અને CBOW (શબ્દોની સતત બેગ) રજૂ કરવામાં આવી હતી. પાછળથી બતાવ્યા પ્રમાણે, word2vec એ PPMI વજન સાથે શબ્દ-સંદર્ભ મેટ્રિક્સના પરિબળ સિવાય બીજું કંઈ નથી. હવે વર્ડ2વેકને ડીપ લર્નિંગને બદલે ડિસ્ટ્રિબ્યુટિવ સિમેન્ટિક્સ તરીકે વર્ગીકૃત કરવાનો રિવાજ છે, પરંતુ આ મોડલની રચના માટે પ્રારંભિક પ્રોત્સાહન ન્યુરલ નેટવર્કનો ઉપયોગ હતો. વધુમાં, તે બહાર આવ્યું છે કે word2vec વેક્ટર્સ શબ્દના અર્થની અનુકૂળ રજૂઆત તરીકે સેવા આપે છે, જે ટેક્સ્ટ વર્ગીકરણ માટે ઉપયોગમાં લેવાતા ઊંડા ન્યુરલ નેટવર્કને ઇનપુટ તરીકે ખવડાવી શકાય છે.

ટેક્સ્ટ વર્ગીકરણનું કાર્ય માર્કેટર્સ માટે સૌથી વધુ દબાણયુક્ત છે, ખાસ કરીને જ્યારે તે ઉત્પાદન અથવા સેવા પ્રત્યેના ઉપભોક્તા મંતવ્યો અથવા વલણનું વિશ્લેષણ કરવાની વાત આવે છે, તેથી સંશોધકો તેના ઉકેલની ગુણવત્તા સુધારવા માટે સતત કામ કરી રહ્યા છે. જો કે, અભિપ્રાય વિશ્લેષણ એ ગ્રંથોને બદલે વાક્યોનું વર્ગીકરણ કરવાનું કાર્ય છે - હકારાત્મક સમીક્ષામાં, વપરાશકર્તા એક કે બે નકારાત્મક વાક્યો લખી શકે છે, અને તે ઓળખવા અને તેનું વિશ્લેષણ કરવામાં સક્ષમ બનવું પણ મહત્વપૂર્ણ છે. વાક્યોનું વર્ગીકરણ કરવામાં જાણીતી મુશ્કેલી ઇનપુટની ચલ લંબાઈમાં રહેલી છે - કારણ કે પાઠોમાં વાક્યો મનસ્વી લંબાઈના હોઈ શકે છે, તે સ્પષ્ટ નથી કે તેમને ન્યુરલ નેટવર્કના ઇનપુટ પર કેવી રીતે સબમિટ કરવું. એક અભિગમ ઇમેજ વિશ્લેષણના ક્ષેત્રમાંથી ઉધાર લેવામાં આવ્યો છે અને તેમાં કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક્સ (CNN) (ફિગ. 2) નો ઉપયોગ સામેલ છે.

કન્વોલ્યુશનલ ન્યુરલ નેટવર્કનું ઇનપુટ એ એક વાક્ય છે જેમાં દરેક શબ્દ પહેલેથી જ વેક્ટર (વેક્ટરનો વેક્ટર) દ્વારા દર્શાવવામાં આવ્યો છે. સામાન્ય રીતે, પૂર્વ-પ્રશિક્ષિત word2vec મોડલનો ઉપયોગ શબ્દોને વેક્ટર તરીકે રજૂ કરવા માટે થાય છે. કન્વોલ્યુશનલ ન્યુરલ નેટવર્કમાં બે સ્તરો હોય છે: "ઊંડો" કન્વોલ્યુશન લેયર અને નિયમિત છુપાયેલ સ્તર. કન્વોલ્યુશન લેયર, બદલામાં, ફિલ્ટર્સ અને "સબસેમ્પલિંગ" લેયર ધરાવે છે. ફિલ્ટર એ એક ન્યુરોન છે જેનું ઇનપુટ વિન્ડોઝનો ઉપયોગ કરીને રચાય છે જે ટેક્સ્ટમાંથી આગળ વધે છે અને ક્રમિક રીતે ચોક્કસ સંખ્યાના શબ્દો પસંદ કરે છે (ઉદાહરણ તરીકે, "ત્રણ" લંબાઈની વિન્ડો પ્રથમ ત્રણ શબ્દો પસંદ કરશે, બીજાથી ચોથા શબ્દો, ત્રીજાથી પાંચમા, વગેરે). ફિલ્ટરના આઉટપુટ પર, એક વેક્ટર રચાય છે જે તેમાં સમાવિષ્ટ શબ્દોના તમામ વેક્ટરને એકીકૃત કરે છે. પછી, સબસેમ્પલિંગ લેયર પર સમગ્ર પ્રસ્તાવને અનુરૂપ એક એક વેક્ટર જનરેટ થાય છે, જેની ગણતરી તમામ આઉટપુટ ફિલ્ટર વેક્ટરના ઘટક મુજબ મહત્તમ તરીકે કરવામાં આવે છે. કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક તાલીમ અને અમલમાં સરળ છે. તેમને તાલીમ આપવા માટે, પ્રમાણભૂત બેકપ્રોપેગેશન અલ્ગોરિધમનો ઉપયોગ કરવામાં આવે છે, અને તે હકીકતને કારણે કે ફિલ્ટર્સનું વજન સમાનરૂપે વિતરિત કરવામાં આવે છે (વિન્ડોમાંથી i-th શબ્દનું વજન કોઈપણ ફિલ્ટર માટે સમાન છે), તેના માટેના પરિમાણોની સંખ્યા કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક નાનું છે. કોમ્પ્યુટર ભાષાશાસ્ત્રના દૃષ્ટિકોણથી, કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક્સ છે શક્તિશાળી સાધનવર્ગીકરણ માટે, જોકે, તેની પાછળ કોઈ ભાષાકીય અંતર્જ્ઞાન નથી, જે એલ્ગોરિધમ ભૂલોના વિશ્લેષણને નોંધપાત્ર રીતે જટિલ બનાવે છે.

ક્રમ વર્ગીકરણ એ એક કાર્ય છે જેમાં દરેક શબ્દને એક લેબલ સોંપવાની જરૂર છે: મોર્ફોલોજિકલ વિશ્લેષણ (દરેક શબ્દને ભાષણનો એક ભાગ સોંપવામાં આવે છે), નામની એન્ટિટી એક્સટ્રેશન (દરેક શબ્દ વ્યક્તિના નામનો ભાગ છે કે કેમ, ભૌગોલિક નામ, વગેરે) વગેરે. ક્રમનું વર્ગીકરણ કરતી વખતે, એવી પદ્ધતિઓનો ઉપયોગ કરવામાં આવે છે જે શબ્દના સંદર્ભને ધ્યાનમાં લે છે: જો અગાઉનો શબ્દ વ્યક્તિના નામનો ભાગ હોય, તો વર્તમાન શબ્દ પણ નામનો ભાગ હોઈ શકે છે, પરંતુ તેનો ભાગ હોવાની શક્યતા નથી. સંસ્થાનું નામ. રિકરન્ટ ન્યુરલ નેટવર્ક્સ, જે છેલ્લી સદીના અંતમાં પ્રસ્તાવિત ભાષાના મોડેલોના વિચારને વિસ્તૃત કરે છે, આ જરૂરિયાતને વ્યવહારમાં અમલમાં લાવવામાં મદદ કરે છે. શાસ્ત્રીય ભાષાનું મોડેલ i-1 શબ્દ પછી i શબ્દ આવશે તેવી સંભાવનાની આગાહી કરે છે. ભાષાના મોડલનો ઉપયોગ આગામી શબ્દની આગાહી કરવા માટે પણ કરી શકાય છે: કયો શબ્દ સાથે મોટે ભાગેઆ પછી મળીશું?

ભાષાના મોડેલોને તાલીમ આપવા માટે, મોટા કોર્પોરાની જરૂર છે - તાલીમ કોર્પસ જેટલું મોટું છે, મોડેલ "જાણે છે" શબ્દોની વધુ જોડી. ભાષા મોડલ વિકસાવવા માટે ન્યુરલ નેટવર્કનો ઉપયોગ સંગ્રહિત ડેટાની માત્રા ઘટાડે છે. ચાલો એક સરળ નેટવર્ક આર્કિટેક્ચરની કલ્પના કરીએ જેમાં i-2 અને i-1 શબ્દો ઇનપુટ છે અને આઉટપુટ પર ન્યુરલ નેટવર્ક i શબ્દની આગાહી કરે છે. છુપાયેલા સ્તરોની સંખ્યા અને તેમના પરના ચેતાકોષોની સંખ્યાના આધારે, પ્રશિક્ષિત નેટવર્કને પ્રમાણમાં નાના પરિમાણની સંખ્યાબંધ ગાઢ મેટ્રિસિસ તરીકે સંગ્રહિત કરી શકાય છે. બીજા શબ્દોમાં કહીએ તો, તાલીમ કોર્પસ અને શબ્દોની તમામ જોડીને બદલે, તે માત્ર થોડા મેટ્રિસિસ અને સૂચિને સંગ્રહિત કરી શકે છે. અનન્ય શબ્દો. જો કે, આવા ન્યુરલ ભાષા મોડેલ શબ્દો વચ્ચે લાંબા જોડાણની મંજૂરી આપતું નથી. આ સમસ્યા રિકરન્ટ ન્યુરલ નેટવર્ક્સ (ફિગ. 3) દ્વારા ઉકેલવામાં આવે છે, જેમાં છુપાયેલા સ્તરની આંતરિક સ્થિતિ ફક્ત ઇનપુટ પર નવો શબ્દ આવ્યા પછી અપડેટ થતી નથી, પરંતુ આગળના પગલા પર પણ પસાર થાય છે. આમ, પુનરાવર્તિત નેટવર્કનું છુપાયેલ સ્તર બે પ્રકારના ઇનપુટ્સ સ્વીકારે છે: પહેલાના પગલા પર છુપાયેલા સ્તરની સ્થિતિ અને નવો શબ્દ. જો રિકરન્ટ ન્યુરલ નેટવર્ક વાક્ય પર પ્રક્રિયા કરે છે, તો છુપાયેલા રાજ્યો વાક્યોમાં લાંબા જોડાણોને યાદ રાખવા અને પ્રસારિત કરવાની મંજૂરી આપે છે. તે વારંવાર પ્રાયોગિક રીતે ચકાસવામાં આવ્યું છે કે રિકરન્ટ ન્યુરલ નેટવર્ક્સ વાક્યમાં વિષયનું લિંગ યાદ રાખે છે અને વાક્ય જનરેટ કરતી વખતે યોગ્ય સર્વનામ (તેણી - તેણી, તેણી - તેણી) પસંદ કરે છે, પરંતુ સ્પષ્ટપણે બતાવે છે કે આ પ્રકારની માહિતી કેવી રીતે સંગ્રહિત થાય છે. ન્યુરલ નેટવર્ક અથવા તેનો ઉપયોગ કેવી રીતે થાય છે તે હજુ પણ સફળ થયું નથી.

રિકરન્ટ ન્યુરલ નેટવર્કનો ઉપયોગ ટેક્સ્ટ વર્ગીકરણ માટે પણ થાય છે. આ કિસ્સામાં, મધ્યવર્તી પગલાઓમાંથી આઉટપુટનો ઉપયોગ થતો નથી, અને ન્યુરલ નેટવર્કનું છેલ્લું આઉટપુટ અનુમાનિત વર્ગ આપે છે. આજે, દ્વિપક્ષીય (છુપાયેલી સ્થિતિને માત્ર "જમણી તરફ" જ નહીં પણ "ડાબી તરફ" પણ પ્રસારિત કરે છે) રિકરન્ટ નેટવર્ક, છુપાયેલા સ્તરમાં કેટલાક ડઝન ચેતાકોષો ધરાવતા, ટેક્સ્ટ અને ક્રમ વર્ગીકરણની સમસ્યાઓ ઉકેલવા માટેનું પ્રમાણભૂત સાધન બની ગયું છે, જેમ કે તેમજ ટેક્સ્ટ જનરેશન, અને અનિવાર્યપણે અન્ય એલ્ગોરિધમ્સને બદલ્યા છે.

રિકરન્ટ ન્યુરલ નેટવર્ક્સનો વિકાસ Seq2seq પ્રકારનું આર્કિટેક્ચર બની ગયું છે, જેમાં બે કનેક્ટેડ રિકરન્ટ નેટવર્કનો સમાવેશ થાય છે, જેમાંથી એક ઇનપુટ (ઉદાહરણ તરીકે, એક ભાષામાં પ્રશ્ન અથવા વાક્ય) રજૂ કરવા અને તેનું વિશ્લેષણ કરવા માટે જવાબદાર છે અને બીજું જનરેટ કરવા માટે. આઉટપુટ (અન્ય ભાષામાં જવાબ અથવા વાક્ય). Seq2seq નેટવર્ક્સ અન્ડરલી છે આધુનિક સિસ્ટમો"પ્રશ્ન-જવાબ", ચેટ બોટ્સ અને મશીન ટ્રાન્સલેશન સિસ્ટમ્સ.

કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક્સ ઉપરાંત, કહેવાતા ઓટોએનકોડર્સનો ઉપયોગ ટેક્સ્ટ વિશ્લેષણ માટે થાય છે, જેનો ઉપયોગ ઉદાહરણ તરીકે, ફોટોશોપ અથવા ઇન્સ્ટાગ્રામમાં છબીઓ પર અસર બનાવવા માટે થાય છે અને પરિમાણ ઘટાડવાની સમસ્યામાં ભાષાશાસ્ત્રમાં એપ્લિકેશન મળી છે (પ્રક્ષેપણ માટે શોધ નીચલા પરિમાણની જગ્યા પર ટેક્સ્ટનું પ્રતિનિધિત્વ કરતા વેક્ટરનું). દ્વિ-પરિમાણીય જગ્યા પર પ્રક્ષેપણ પ્લેન પરના બિંદુ તરીકે ટેક્સ્ટને રજૂ કરવાનું શક્ય બનાવે છે અને તમને પાઠોના સંગ્રહને બિંદુઓના સમૂહ તરીકે દૃષ્ટિની રીતે દર્શાવવાની મંજૂરી આપે છે, એટલે કે, તે એક સાધન તરીકે કામ કરે છે. પ્રારંભિક વિશ્લેષણપાઠોને ક્લસ્ટરીંગ અથવા વર્ગીકૃત કરતા પહેલા. વર્ગીકરણ કાર્યથી વિપરીત, પરિમાણીયતા ઘટાડવાના કાર્યમાં સ્પષ્ટ ગુણવત્તા માપદંડ નથી, પરંતુ ઓટોએનકોડરનો ઉપયોગ કરતી વખતે મેળવેલી છબીઓ તદ્દન "પ્રતિષ્ઠાજનક" લાગે છે. સાથે ગાણિતિક બિંદુઓટોએનકોડર એ એક અસુરક્ષિત ન્યુરલ નેટવર્ક છે જે રેખીય કાર્ય f(x) = x શીખે છે અને તેમાં બે ભાગોનો સમાવેશ થાય છે: એક એન્કોડર અને ડીકોડર. એન્કોડર એ ન્યુરોન્સની ઘટતી સંખ્યા સાથે બહુવિધ છુપાયેલા સ્તરો સાથેનું નેટવર્ક છે. ડીકોડર એ ન્યુરોન્સની વધતી સંખ્યા સાથે સમાન નેટવર્ક છે. તેઓ એક છુપાયેલા સ્તર દ્વારા જોડાયેલા હોય છે, જેમાં નીચા પરિમાણની નવી જગ્યામાં પરિમાણ હોવા જોઈએ તેટલા ન્યુરોન્સ હોય છે, અને તે આ સ્તર છે જે પરિમાણને ઘટાડવા માટે જવાબદાર છે. કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક્સની જેમ, ઓટોએનકોડરમાં કોઈ ભાષાકીય અર્થઘટન હોતું નથી, તેથી તેને વિશ્લેષણાત્મકને બદલે એન્જિનિયરિંગ સાધન ગણી શકાય.

પ્રભાવશાળી પરિણામો હોવા છતાં, ન્યુરલ નેટવર્કને ટેક્સ્ટ વિશ્લેષણ (ભાષામાં પેટર્નની શોધ) માટે સ્વતંત્ર સાધન ગણી શકાય નહીં, ટેક્સ્ટને સમજવા માટે ઘણું ઓછું. હા, ન્યુરલ નેટવર્ક્સ શબ્દો વચ્ચે છુપાયેલા જોડાણો શોધવાનું અને ગ્રંથોમાં પેટર્ન શોધવાનું શક્ય બનાવે છે, પરંતુ જ્યાં સુધી આ જોડાણોને અર્થઘટન કરી શકાય તેવા સ્વરૂપમાં રજૂ કરવામાં ન આવે ત્યાં સુધી ન્યુરલ નેટવર્ક્સ એકદમ તુચ્છ મશીન લર્નિંગ ટૂલ્સ રહેશે. તદુપરાંત, ઔદ્યોગિકમાં વિશ્લેષણાત્મક ઉકેલોડીપ લર્નિંગની હજુ પણ માંગ નથી, કારણ કે તેને ડેટા તૈયાર કરવા અને પરિણામોની અણધારીતા માટે ગેરવાજબી ખર્ચની જરૂર છે. સંશોધન સમુદાયમાં પણ, ન્યુરલ નેટવર્કને સાર્વત્રિક સાધન બનાવવાના પ્રયાસોની ટીકા થઈ રહી છે. 2015 માં, ક્રિસ મેનિંગ, સ્ટેનફોર્ડ ખાતે કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર જૂથના વડા અને ACL ના પ્રમુખ, સ્પષ્ટપણે ન્યુરલ નેટવર્ક્સની લાગુ પડવાની રૂપરેખા આપી હતી. તેમાં તેમણે લખાણ વર્ગીકરણ, ક્રમ વર્ગીકરણ અને પરિમાણ ઘટાડાના કાર્યોનો સમાવેશ કર્યો. જો કે, ડીપ લર્નિંગના માર્કેટિંગ અને લોકપ્રિયતાને કારણે, કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર પર ધ્યાન અને તેના નવા કાર્યક્રમોમાં વધારો થયો છે.

સાહિત્ય

1. ટોમસ મિકોલોવ એટ. al વેક્ટર સ્પેસમાં વર્ડ રિપ્રેઝન્ટેશનનો કાર્યક્ષમ અંદાજ, arxiv.org. URL: http://arxiv.org/pdf/1301.3781.pdf
2. લેવી ઓમેર, યોવ ગોલ્ડબર્ગ, ઇડો ડાગન. વર્ડ એમ્બેડિંગ્સમાંથી શીખેલા પાઠ સાથે વિતરણ સમાનતામાં સુધારો કરવો. કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર માટે એસોસિએશનના વ્યવહારો 3. - 2015. - પૃષ્ઠ 211–225. URL: https://www.transacl.org/ojs/index.php/tacl/article/view/570/124 (એક્સેસ તારીખ: 05/18/2017).
3. પાવેલ વેલિખોવ. કુદરતી ભાષાની સમજ માટે મશીન લર્નિંગ // Open Systems.DBMS. - 2016. - નંબર 1. - P.18–21. URL: (એક્સેસ તારીખ: 05/18/2017).
4. ક્રિસ્ટોફર મેનિંગ. કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર અને ઊંડા શિક્ષણ. કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર. - 2016. URL: http://www.mitpressjournals.org/doi/full/10.1162/COLI_a_00239#.WQH8MBhh2qA (એક્સેસ તારીખ: 05/18/2017).

દિમિત્રી ઇલ્વોવ્સ્કી ([ઇમેઇલ સુરક્ષિત]) - આંતરરાષ્ટ્રીય પ્રયોગશાળાના કર્મચારી બુદ્ધિશાળી સિસ્ટમોઅને માળખાકીય વિશ્લેષણ, એકટેરીના ચેર્નીક ([ઇમેઇલ સુરક્ષિત]) - કેન્દ્રના શિક્ષક સતત શિક્ષણ, કોમ્પ્યુટર સાયન્સ ફેકલ્ટી, નેશનલ રિસર્ચ યુનિવર્સિટી હાયર સ્કૂલ ઓફ ઈકોનોમિક્સ (મોસ્કો). કાર્યક્રમના માળખામાં કાર્ય હાથ ધરવામાં આવ્યું હતું મૂળભૂત સંશોધનનેશનલ રિસર્ચ યુનિવર્સિટી હાયર સ્કૂલ ઓફ ઈકોનોમિક્સ.