Naudodami mažiausių kvadratų metodą, raskite y formos ax b funkciją. Mažiausių kvadratų metodas „Excel“.

Pavyzdys.

Eksperimentiniai duomenys apie kintamųjų reikšmes X Ir adresu pateikiami lentelėje.

Dėl jų išlyginimo gaunama funkcija

Naudojant metodas mažiausių kvadratų , apytiksliai apskaičiuokite šiuos duomenis tiesine priklausomybe y=kirvis+b(raskite parametrus A Ir b). Sužinokite, kuri iš dviejų eilučių geriau (mažiausių kvadratų metodo prasme) suderina eksperimentinius duomenis. Padarykite piešinį.

Mažiausių kvadratų metodo (LSM) esmė.

Užduotis – rasti tiesinės priklausomybės koeficientus, kuriems esant veikia dviejų kintamųjų funkcija A Ir b užima mažiausią vertę. Tai yra, duota A Ir b eksperimentinių duomenų nuokrypių kvadratu suma nuo rastos tiesės bus mažiausia. Tai yra mažiausių kvadratų metodo esmė.

Taigi, sprendžiant pavyzdį, reikia rasti dviejų kintamųjų funkcijos ekstremumą.

Koeficientų radimo formulės.

Sudaroma ir išsprendžiama dviejų lygčių su dviem nežinomaisiais sistema. Funkcijos dalinių išvestinių radimas pagal kintamuosius A Ir b, šias išvestines prilyginsime nuliui.

Gautą lygčių sistemą išsprendžiame naudodami bet kurį metodą (pvz pakeitimo būdu arba Cramerio metodas) ir gauti koeficientų radimo formules naudojant mažiausiųjų kvadratų metodą (LSM).

Duota A Ir b funkcija užima mažiausią vertę. Pateikiamas šio fakto įrodymas žemiau esančiame tekste puslapio pabaigoje.

Tai visas mažiausių kvadratų metodas. Parametrų radimo formulė a yra sumos ,, ir parametras n- eksperimentinių duomenų kiekis. Rekomenduojame šių sumų vertes skaičiuoti atskirai. Koeficientas b rasta po skaičiavimo a.

Atėjo laikas prisiminti originalų pavyzdį.

Sprendimas.

Mūsų pavyzdyje n=5. Lentelę užpildome, kad būtų patogiau apskaičiuoti sumas, kurios įtrauktos į reikalingų koeficientų formules.

Ketvirtoje lentelės eilutėje esančios reikšmės gaunamos 2-os eilutės reikšmes padauginus iš 3-osios kiekvieno skaičiaus reikšmių i.

Penktoje lentelės eilutėje esančios reikšmės gaunamos padalijus kiekvieno skaičiaus 2-os eilutės reikšmes kvadratu i.

Paskutiniame lentelės stulpelyje esančios reikšmės yra reikšmių visose eilutėse sumos.

Koeficientams rasti naudojame mažiausių kvadratų metodo formules A Ir b. Į jas pakeičiame atitinkamas vertes iš paskutinio lentelės stulpelio:

Vadinasi, y = 0,165x+2,184- norima apytikslė tiesi linija.

Belieka išsiaiškinti, kuri iš eilučių y = 0,165x+2,184 arba geriau apytiksliai atitinka pradinius duomenis, tai yra įvertinimus naudojant mažiausių kvadratų metodą.

Mažiausių kvadratų metodo klaidų įvertinimas.

Norėdami tai padaryti, turite apskaičiuoti pirminių duomenų kvadratinių nuokrypių nuo šių eilučių sumą Ir , mažesnė reikšmė atitinka liniją, kuri geriau apytiksliai atitinka pradinius duomenis mažiausiųjų kvadratų metodo prasme.

Nuo tada tiesiai y = 0,165x+2,184 geriau apytiksliai atitinka pradinius duomenis.

Mažiausių kvadratų (LS) metodo grafinė iliustracija.

Grafikuose viskas aiškiai matosi. Raudona linija yra rasta tiesi linija y = 0,165x+2,184, mėlyna linija yra , rožiniai taškai yra pirminiai duomenys.

Praktikoje modeliuojant įvairius procesus – ypač ekonominius, fizinius, techninius, socialinius – plačiai naudojamas vienoks ar kitoks apytikslių funkcijų verčių apskaičiavimo iš jų žinomų verčių tam tikruose fiksuotuose taškuose metodas.

Dažnai iškyla tokia funkcijų aproksimavimo problema:

kai sudaromos apytikslės tiriamo proceso būdingų dydžių verčių apskaičiavimo formulės, naudojant lentelių duomenis, gautus eksperimento metu;

skaitinėje integracijoje, diferenciacijoje, sprendime diferencialines lygtis ir kt.;

jei reikia apskaičiuoti funkcijų reikšmes nagrinėjamo intervalo tarpiniuose taškuose;

nustatant proceso būdingų dydžių vertes už nagrinėjamo intervalo ribų, ypač numatant.

Jeigu tam tikro proceso, nurodyto lentelės modeliavimui, sukonstruosime funkciją, kuri apytiksliai apibūdina šį procesą remdamiesi mažiausių kvadratų metodu, ji bus vadinama aproksimuojančia funkcija (regresija), o pati aproksimuojančių funkcijų konstravimo problema. apytikslė problema.

Šiame straipsnyje aptariamos MS Excel paketo galimybės sprendžiant tokio pobūdžio problemas, be to, pateikiami lentelės regresijų kūrimo (kurimo) metodai ir metodai. nurodytas funkcijas(kuris yra regresinės analizės pagrindas).

„Excel“ turi dvi regresijų kūrimo parinktis.

Pasirinktų regresijų (tendencijų linijų) įtraukimas į diagramą, sudarytą remiantis tiriamos proceso charakteristikos duomenų lentele (galima tik tuo atveju, jei buvo sudaryta diagrama);

Naudojant įmontuotas statistines Excel darbalapio funkcijas, leidžiančias gauti regresijas (tendencijos linijas) tiesiogiai remiantis šaltinio duomenų lentele.

Tendencijos linijų įtraukimas į diagramą

Duomenų, apibūdinančių procesą ir pavaizduotą diagrama, lentelei „Excel“ yra veiksmingas regresinės analizės įrankis, leidžiantis:

sukurti remdamiesi mažiausių kvadratų metodu ir diagramoje pridėti penkis regresijų tipai, kurios skirtingu tikslumu modeliuoja tiriamą procesą;

pridėti sudarytą regresijos lygtį į diagramą;

nustatyti pasirinktos regresijos atitikimo laipsnį diagramoje rodomiems duomenims.

Remiantis diagramos duomenimis, „Excel“ leidžia gauti tiesines, daugianario, logaritminės, galios, eksponentinės regresijas, kurias nurodo lygtis:

y = y(x)

kur x yra nepriklausomas kintamasis, kuris dažnai paima natūraliųjų skaičių (1; 2; 3; ...) sekos reikšmes ir sukuria, pavyzdžiui, tiriamo proceso laiko (charakteristikos) skaičiavimą.

1 . Tiesinė regresija tinka modeliuoti charakteristikas, kurių reikšmės didėja arba mažėja pastoviu greičiu. Tai paprasčiausias tiriamo proceso modelis. Jis sukonstruotas pagal lygtį:

y = mx + b

čia m yra polinkio kampo liestinė tiesinė regresijaį abscisių ašį; b - tiesinės regresijos susikirtimo taško koordinatė su ordinačių ašimi.

2 . Polinominė tendencijų linija yra naudinga apibūdinant charakteristikas, turinčias keletą skirtingų kraštutinumų (maksimų ir minimumų). Dauginamo laipsnio pasirinkimą lemia tiriamos charakteristikos ekstremalių skaičius. Taigi, antrojo laipsnio daugianomas gali gerai apibūdinti procesą, kuris turi tik vieną maksimumą arba minimumą; trečiojo laipsnio daugianario - ne daugiau kaip du ekstremumai; ketvirtojo laipsnio daugianario – ne daugiau kaip trys ekstremumai ir kt.

Šiuo atveju tendencijos linija sudaroma pagal lygtį:

y = c0 + c1x + c2x2 + c3x3 + c4x4 + c5x5 + c6x6

kur koeficientai c0, c1, c2,...c6 yra konstantos, kurių reikšmės nustatomos statybos metu.

3 . Logaritminė tendencijos linija sėkmingai naudojama modeliuojant charakteristikas, kurių reikšmės iš pradžių greitai keičiasi, o vėliau palaipsniui stabilizuojasi.

y = c ln(x) + b

4 . Galios dėsnio tendencijos linija duoda gerų rezultatų, jei tiriamo ryšio reikšmėms būdingas nuolatinis augimo tempo pokytis. Tokios priklausomybės pavyzdys yra tolygiai pagreitinto automobilio judėjimo grafikas. Jei duomenyse yra nulis arba neigiamos reikšmės, negalite naudoti galios tendencijų linijos.

Sukurta pagal lygtį:

y = c xb

kur koeficientai b, c yra konstantos.

5 . Eksponentinė tendencijos linija turėtų būti naudojama, kai duomenų kitimo greitis nuolat didėja. Duomenims, kuriuose yra nulio arba neigiamos reikšmės, tokio tipo aproksimacija taip pat netaikoma.

Sukurta pagal lygtį:

y = c ebx

kur koeficientai b, c yra konstantos.

Pasirinkdama tendencijos liniją, Excel automatiškai apskaičiuoja R2 reikšmę, kuri apibūdina aproksimacijos patikimumą: nei artimesnę vertę R2 iki vienybės, tuo patikimiau tendencijos linija apytiksliai atitinka tiriamą procesą. Jei reikia, R2 reikšmė visada gali būti rodoma diagramoje.

Nustatoma pagal formulę:

Norėdami pridėti tendencijų liniją prie duomenų sekos:

suaktyvinkite diagramą, pagrįstą duomenų serija, t. y. spustelėkite diagramos srityje. Diagramos elementas pasirodys pagrindiniame meniu;

Paspaudus šį elementą, ekrane pasirodys meniu, kuriame turėtumėte pasirinkti komandą Add trend line.

Tuos pačius veiksmus galima nesunkiai įgyvendinti perkeliant pelės žymeklį ant grafiko, atitinkančio vieną iš duomenų eilučių, ir paspaudus dešinįjį pelės klavišą; Pasirodžiusiame kontekstiniame meniu pasirinkite komandą Pridėti tendencijos liniją. Ekrane atsidarys dialogo langas Trend Line su atidarytu skirtuku Tipas (1 pav.).

Po to jums reikia:

Skirtuke Tipas pasirinkite reikalingas tipas tendencijų linijos (pagal numatytuosius nustatymus pasirinktas linijinis tipas). Polinomo tipui lauke Laipsnis nurodykite pasirinkto daugianario laipsnį.

1 . Lauke Built on series pateikiamos visos atitinkamos diagramos duomenų serijos. Norėdami pridėti tendencijų liniją prie konkrečios duomenų sekos, pasirinkite jos pavadinimą lauke Sukurta serija.

Jei reikia, eidami į skirtuką Parametrai (2 pav.), galite nustatyti šiuos tendencijos linijos parametrus:

pakeiskite tendencijos linijos pavadinimą lauke Apytikslės (išlygintos) kreivės pavadinimas.

Prognozės laukelyje nustatykite prognozės periodų skaičių (pirmyn arba atgal);

diagramos srityje rodyti tendencijos linijos lygtį, kuriai turėtumėte įjungti žymės langelį Rodyti lygtį diagramoje;

diagramos srityje parodykite aproksimacijos patikimumo vertę R2, kuriai turėtumėte įjungti žymės langelį Įdėkite aproksimacijos patikimumo vertę diagramoje (R^2);

nustatykite tendencijos linijos susikirtimo tašką su Y ašimi, kuriai turite įjungti žymės langelį kreivės susikirtimui su Y ašimi taške;

Spustelėkite mygtuką Gerai, kad uždarytumėte dialogo langą.

Norint pradėti redaguoti jau nubrėžtą tendencijų liniją, yra trys būdai:

naudokite komandą Selected trend line iš meniu Formatas, prieš tai pasirinkę tendencijos liniją;

kontekstiniame meniu pasirinkite komandą Format trend line, kuri iškviečiama dešiniuoju pelės klavišu spustelėjus tendencijos liniją;

dukart spustelėkite tendencijos liniją.

Ekrane pasirodys dialogo langas Trend Line Format (3 pav.), kuriame yra trys skirtukai: View, Type, Parameters, o paskutinių dviejų turinys visiškai sutampa su panašiais dialogo lango Trend Line skirtukais (1 pav. -2). Skirtuke Rodinys galite nustatyti linijos tipą, spalvą ir storį.

Norėdami ištrinti jau nubrėžtą tendencijos liniją, pasirinkite norimą ištrinti tendencijos liniją ir paspauskite klavišą Delete.

Svarstomos regresinės analizės priemonės pranašumai yra šie:

santykinis tendencijų linijos sudarymo diagramose paprastumas nesukuriant jai duomenų lentelės;

gana platus siūlomų tendencijų linijų tipų sąrašas, o šis sąrašas apima dažniausiai naudojamus regresijos tipus;

gebėjimas numatyti tiriamo proceso elgesį bet kokiu savavališku lygiu (viduje Sveikas protas) žingsnių skaičius pirmyn ir atgal;

gebėjimas gauti tendencijos linijos lygtį analitine forma;

galimybė, jei reikia, gauti aproksimacijos patikimumo įvertinimą.

Trūkumai apima šiuos dalykus:

tendencijos linijos konstravimas atliekamas tik tuo atveju, jei yra diagrama, pagrįsta duomenų serija;

tiriamos charakteristikos duomenų eilučių generavimo procesas, remiantis jai gautomis tendencijų linijos lygtimis, yra šiek tiek netvarkingas: reikalingos regresijos lygtys atnaujinamos su kiekvienu pradinių duomenų serijų verčių pasikeitimu, bet tik diagramos srityje. , kol duomenų serijos, sugeneruotas remiantis senąja tendencijos linijos lygtimi, lieka nepakitęs;

„PivotChart“ ataskaitose pakeitus diagramos arba susijusios „PivotTable“ ataskaitos rodinį, esamos tendencijų linijos neišsaugomos, o tai reiškia, kad prieš braižydami tendencijų linijas ar kitaip formatuodami „PivotChart“ ataskaitą, turėtumėte įsitikinti, kad ataskaitos išdėstymas atitinka reikalaujamus reikalavimus.

Tendencijos linijos gali būti naudojamos papildyti duomenų serijas, pateiktas diagramose, pvz., diagramose, histogramose, plokščiose nestandartizuotose sričių diagramose, juostinėse diagramose, taškinėse diagramose, burbulinėse diagramose ir akcijų diagramose.

Negalite pridėti tendencijų linijų prie duomenų eilučių 3D, normalizuotose, radarinėse, skritulinėse ir spurginėse diagramose.

Naudojant „Excel“ integruotas funkcijas

„Excel“ taip pat turi regresinės analizės įrankį, skirtą tendencijų linijoms braižyti už diagramos srities. Yra keletas statistinių darbalapio funkcijų, kurias galima naudoti šiam tikslui, tačiau visos jos leidžia atlikti tik tiesinę arba eksponentinę regresiją.

„Excel“ turi keletą funkcijų, skirtų tiesinei regresijai sudaryti, visų pirma:

TENDENCIJA;

• ŠLAIDAS ir PJOVYTI.

Taip pat kelios pastato funkcijos eksponentinė linija tendencija, ypač:

LGRFPRIBL.

Reikėtų pažymėti, kad regresijų konstravimo metodai naudojant TREND ir GROWTH funkcijas yra beveik vienodi. Tą patį galima pasakyti ir apie funkcijų porą LINEST ir LGRFPRIBL. Šioms keturioms funkcijoms kuriant verčių lentelę naudojamos „Excel“ funkcijos, tokios kaip masyvo formulės, kurios šiek tiek trukdo regresijų kūrimo procesui. Taip pat atkreipkite dėmesį, kad tiesinę regresiją, mūsų nuomone, lengviausia atlikti naudojant SLOPE ir INTERCEPT funkcijas, kur pirmoji iš jų nustato tiesinės regresijos nuolydį, o antroji – atkarpą, kurią perima regresija y. - ašis.

Integruoto funkcijų įrankio regresinei analizei pranašumai yra šie:

gana paprastas, vienodas tiriamos charakteristikos duomenų serijų generavimo procesas visoms integruotoms statistinėms funkcijoms, kurios apibrėžia tendencijų linijas;

standartinė tendencijų linijų konstravimo metodika pagal sugeneruotas duomenų eilutes;

gebėjimas numatyti tiriamo proceso elgesį reikalinga sumažingsniais į priekį arba atgal.

Trūkumai apima tai, kad „Excel“ neturi įmontuotų funkcijų, skirtų kurti kitų (išskyrus tiesines ir eksponencines) tendencijų linijas. Ši aplinkybė dažnai neleidžia parinkti pakankamai tikslaus tiriamo proceso modelio, taip pat gauti realybei artimų prognozių. Be to, naudojant TREND ir GROWTH funkcijas, tendencijų linijų lygtys nėra žinomos.

Pažymėtina, kad autoriai nesiekė pateikti regresinės analizės eigos iki galo. Pagrindinė jo užduotis – naudojant konkrečius pavyzdžius parodyti Excel paketo galimybes sprendžiant aproksimacijos uždavinius; parodyti, kokius veiksmingus įrankius „Excel“ turi regresijų kūrimui ir prognozavimui; iliustruoja, kaip tokias problemas gana lengvai gali išspręsti net vartotojas, neturintis plačių regresinės analizės žinių.

Sprendimų pavyzdžiai konkrečias užduotis

Pažvelkime į konkrečių problemų sprendimą naudodami išvardytus Excel įrankius.

1 problema

Su automobilių transporto įmonės 1995-2002 metų pelno duomenų lentele. turite atlikti šiuos veiksmus:

Sukurkite diagramą.

Į diagramą įtraukite tiesines ir daugianario (kvadratinės ir kubinės) tendencijų linijas.

Naudodami tendencijų linijų lygtis, gaukite lentelės duomenis apie įmonės pelną kiekvienai tendencijų linijai 1995–2004 m.

Padarykite įmonės pelno prognozę 2003 ir 2004 metams.

Problemos sprendimas

„Excel“ darbalapio langelių diapazone A4:C11 įveskite darbalapį, parodytą pav. 4.

Pasirinkę langelių diapazoną B4:C11, sudarome diagramą.

Aktyvuojame sukonstruotą diagramą ir aukščiau aprašytu būdu, dialogo lange Trend Line pasirinkę trendo linijos tipą (žr. 1 pav.), į diagramą pakaitomis pridedame tiesines, kvadratines ir kubines tendencijų linijas. Tame pačiame dialogo lange atidarykite skirtuką Parametrai (žr. 2 pav.), laukelyje Apytikslės (išlygintos) kreivės pavadinimas įveskite pridedamos tendencijos pavadinimą ir lauke Forecast forward for: periods nustatykite vertė 2, nes planuojama prognozuoti pelną dvejiems metams į priekį. Norėdami diagramos srityje rodyti regresijos lygtį ir aproksimacijos patikimumo reikšmę R2, įjunkite lygties rodymo ekrane žymimuosius langelius ir diagramoje įdėkite aproksimacijos patikimumo vertę (R^2). Už geriausią vizualinis suvokimas keičiame konstruojamų tendencijų linijų tipą, spalvą ir storį, tam naudojame dialogo lango Trend Line Format skirtuką View (žr. 3 pav.). Gauta diagrama su pridėtomis tendencijų linijomis parodyta Fig. 5.

Gauti lentelės duomenis apie įmonės pelną kiekvienai tendencijų linijai 1995–2004 m. Naudokime tendencijų linijos lygtis, pateiktas pav. 5. Norėdami tai padaryti, diapazono D3:F3 langeliuose įveskite tekstinę informaciją apie pasirinktos tendencijos linijos tipą: Linijinė tendencija, Kvadratinė tendencija, Kubinė tendencija. Tada įveskite tiesinės regresijos formulę langelyje D4 ir, naudodami užpildymo žymeklį, nukopijuokite šią formulę su santykinėmis nuorodomis į langelių diapazoną D5:D13. Reikėtų pažymėti, kad kiekvienas langelis su linijinės regresijos formule iš langelių diapazono D4:D13 turi kaip argumentą atitinkamą langelį iš diapazono A4:A13. Panašiai kvadratinei regresijai užpildykite langelių diapazoną E4:E13, o kubinei regresijai – langelių diapazoną F4:F13. Taigi sudaryta įmonės pelno prognozė 2003 ir 2004 metams. naudojant tris tendencijas. Gauta verčių lentelė parodyta fig. 6.

2 problema

Sukurkite diagramą.

Pridėkite prie diagramos logaritmines, galios ir eksponentinės tendencijų linijas.

Išveskite gautų tendencijų linijų lygtis, taip pat kiekvienos iš jų aproksimacijos R2 patikimumo reikšmes.

Naudodami tendencijų linijos lygtis, gaukite lentelės duomenis apie įmonės pelną kiekvienai tendencijos linijai 1995–2002 m.

Naudodami šias tendencijų linijas sudarykite įmonės pelno prognozę 2003 ir 2004 m.

Problemos sprendimas

Vadovaudamiesi 1 uždavinio sprendimo metodika, gauname diagramą, prie kurios pridedamos logaritminės, galios ir eksponentinės tendencijos linijos (7 pav.). Toliau, naudodamiesi gautomis tendencijų linijos lygtimis, užpildome įmonės pelno verčių lentelę, įskaitant numatomas 2003 ir 2004 m. vertes. (8 pav.).

Fig. 5 ir pav. matyti, kad modelis su logaritmine tendencija atitinka mažiausią aproksimacijos patikimumo reikšmę

R2 = 0,8659

Didžiausios R2 reikšmės atitinka modelius su daugianario tendencija: kvadratinis (R2 = 0,9263) ir kubinis (R2 = 0,933).

3 problema

Turėdami 1 užduotyje pateiktą automobilių transporto įmonės 1995-2002 m. pelno duomenų lentelę, turite atlikti šiuos veiksmus.

Gaukite linijinių ir eksponentinių tendencijų linijų duomenų eilutes naudodami TREND ir GROW funkcijas.

Naudodamiesi TREND ir GROWTH funkcijomis, sudarykite įmonės pelno prognozę 2003 ir 2004 metams.

Sukurkite pradinių duomenų ir gautų duomenų serijų diagramą.

Problemos sprendimas

1 uždaviniui atlikti naudokime darbalapį (žr. 4 pav.). Pradėkime nuo funkcijos TREND:

pasirinkite langelių diapazoną D4:D11, kuris turėtų būti užpildytas funkcijos TREND reikšmėmis, atitinkančiomis žinomus duomenis apie įmonės pelną;

Iš meniu Įterpti iškvieskite komandą Funkcija. Pasirodžiusiame dialogo lange Funkcijų vedlys iš Statistikos kategorijos pasirinkite funkciją TREND, tada spustelėkite mygtuką Gerai. Tą pačią operaciją galima atlikti spustelėjus mygtuką (Įterpti funkciją) standartinėje įrankių juostoje.

Pasirodžiusiame dialogo lange Funkcijos argumentai lauke Known_values_y įveskite langelių diapazoną C4:C11; lauke Known_values_x - langelių diapazonas B4:B11;

Norėdami, kad įvesta formulė taptų masyvo formule, naudokite klavišų kombinaciją + + .

Formulė, kurią įvedėme formulių juostoje, atrodys taip: =(TREND(C4:C11,B4:B11)).

Dėl to langelių diapazonas D4:D11 užpildomas atitinkamomis funkcijos TREND reikšmėmis (9 pav.).

Padaryti įmonės pelno prognozę 2003 ir 2004 metams. būtina:

pasirinkite langelių diapazoną D12:D13, kur bus įvedamos funkcijos TREND numatytos reikšmės.

iškvieskite funkciją TREND ir pasirodžiusiame dialogo lange Function Arguments laukelyje Known_values_y įveskite langelių diapazoną C4:C11; lauke Known_values_x - langelių diapazonas B4:B11; o lauke New_values_x – langelių diapazonas B12:B13.

paverskite šią formulę į masyvo formulę naudodami klavišų kombinaciją Ctrl + Shift + Enter.

Įvesta formulė atrodys taip: =(TREND(C4:C11;B4:B11;B12:B13)), o langelių diapazonas D12:D13 bus užpildytas numatytomis funkcijos TREND reikšmėmis (žr. 9).

Duomenų eilutės taip pat užpildomos naudojant funkciją GROWTH, kuri naudojama netiesinių priklausomybių analizei ir veikia lygiai taip pat, kaip ir jos tiesinė atitikmuo TREND.

10 paveiksle pateikta lentelė formulės rodymo režimu.

Pradiniams duomenims ir gautoms duomenų serijoms diagrama parodyta pav. vienuolika.

4 problema

Turėdami automobilių transporto įmonės dispečerinės paraiškų paslaugoms gavimo duomenų lentelę už laikotarpį nuo einamojo mėnesio 1 dienos iki 11 dienos, turite atlikti šiuos veiksmus.

Gauti duomenų eilutes tiesinei regresijai: naudojant SLOPE ir INTERCEPT funkcijas; naudojant funkciją LINEST.

Gaukite eksponentinės regresijos duomenų eilutes naudodami LGRFPRIBL funkciją.

Naudodamiesi aukščiau pateiktomis funkcijomis, padarykite paraiškų į dispečerinę gavimo prognozę laikotarpiui nuo einamojo mėnesio 12-14 dienos.

Sukurkite pradinių ir gautų duomenų serijų diagramą.

Problemos sprendimas

Atkreipkite dėmesį, kad, skirtingai nei funkcijos TREND ir GROWTH, nė viena iš aukščiau išvardytų funkcijų (SLOPE, INTERCEPT, LINEST, LGRFPRIB) nėra regresija. Šios funkcijos atlieka tik pagalbinį vaidmenį, nustatydamos būtinus regresijos parametrus.

Tiesinės ir eksponentinės regresijos, sudarytos naudojant funkcijas SLOPE, INTERCEPT, LINEST, LGRFPRIB, jų lygčių išvaizda visada yra žinoma, priešingai nei tiesinė ir eksponentinė regresija, atitinkanti funkcijas TREND ir GROWTH.

1 . Sukurkime tiesinę regresiją su lygtimi:

y = mx+b

naudojant SLOPE ir INTERCEPT funkcijas, kurių regresijos nuolydis m nustatomas funkcija SLOPE, o laisvasis terminas b – funkcija INTERCEPT.

Norėdami tai padaryti, atliekame šiuos veiksmus:

įveskite pradinę lentelę į langelių diapazoną A4:B14;

parametro m reikšmė bus nustatyta langelyje C19. Pasirinkite iš kategorijos Statistinė funkcija Nuolydis; įveskite langelių diapazoną B4:B14 į žinomos_reikšmės_y lauką ir langelių diapazoną A4:A14 į lauką žinomos_reikšmės_x. Formulė bus įvesta langelyje C19: =SLOPE(B4:B14,A4:A14);

Taikant panašią techniką, nustatoma parametro b reikšmė langelyje D19. Ir jo turinys atrodys taip: =SEGMENTAS(B4:B14,A4:A14). Taigi, parametrų m ir b reikšmės, reikalingos tiesinei regresijai sudaryti, bus saugomos atitinkamai langeliuose C19, D19;

Tada langelyje C4 įveskite tiesinės regresijos formulę tokia forma: =$C*A4+$D. Šioje formulėje langeliai C19 ir D19 rašomi su absoliučiomis nuorodomis (galimo kopijavimo metu langelio adresas neturėtų keistis). Absoliučios nuorodos ženklą $ galima įvesti klaviatūra arba klavišu F4, užvedus žymeklį ant langelio adreso. Naudodami užpildymo rankenėlę, nukopijuokite šią formulę į langelių diapazoną C4:C17. Gauname reikiamas duomenų eilutes (12 pav.). Atsižvelgiant į tai, kad programų skaičius yra sveikasis skaičius, lango langelio formatas skirtuke Skaičius turėtumėte nustatyti skaičių formatą su kablelio skaičiumi į 0.

2 . Dabar sukurkime tiesinę regresiją, pateiktą pagal lygtį:

y = mx+b

naudojant funkciją LINEST.

Už tai:

Įveskite funkciją LINEST į langelių diapazoną C20:D20 kaip masyvo formulę: =(LINEST(B4:B14,A4:A14)). Dėl to gauname parametro m reikšmę langelyje C20, o parametro b reikšmę langelyje D20;

langelyje D4 įveskite formulę: =$C*A4+$D;

nukopijuokite šią formulę naudodami užpildymo žymeklį į langelių diapazoną D4:D17 ir gaukite norimas duomenų eilutes.

3 . Sudarome eksponentinę regresiją su lygtimi:

naudojant LGRFPRIBL funkciją, ji atliekama panašiai:

Langelių diapazone C21:D21 įvedame LGRFPRIBL funkciją kaip masyvo formulę: =( LGRFPRIBL (B4:B14,A4:A14)). Šiuo atveju parametro m reikšmė bus nustatyta langelyje C21, o parametro b reikšmė – langelyje D21;

formulė įvedama į langelį E4: =$D*$C^A4;

naudojant užpildymo žymeklį, ši formulė nukopijuojama į langelių diapazoną E4:E17, kuriame bus eksponentinės regresijos duomenų eilutės (žr. 12 pav.).

Fig. 13 paveiksle parodyta lentelė, kurioje galite matyti funkcijas, kurias naudojame su reikiamais langelių diapazonais, taip pat formules.

Didumas R 2 paskambino determinacijos koeficientas.

Regresijos priklausomybės konstravimo uždavinys – rasti (1) modelio koeficientų m vektorių, kuriam esant koeficientas R įgyja didžiausią reikšmę.

R reikšmingumui įvertinti naudojamas Fišerio F testas, apskaičiuojamas pagal formulę

Kur n- imties dydis (eksperimentų skaičius);

k – modelio koeficientų skaičius.

Jei F viršija kokią nors kritinę duomenų vertę n Ir k ir priimtą pasitikėjimo tikimybę, tada R reikšmė laikoma reikšminga. Lentelės kritines vertes F pateikti matematinės statistikos žinynuose.

Taigi R reikšmę lemia ne tik jo reikšmė, bet ir santykis tarp eksperimentų skaičiaus ir modelio koeficientų (parametrų) skaičiaus. Iš tiesų, paprasto tiesinio modelio koreliacijos koeficientas n = 2 yra lygus 1 (viena tiesė visada gali būti nubrėžta per 2 plokštumos taškus). Tačiau jei eksperimentiniai duomenys yra atsitiktiniai dydžiai, šia R reikšme reikia pasitikėti labai atsargiai. Paprastai, norėdami gauti reikšmingą R ir patikimą regresiją, jie siekia užtikrinti, kad eksperimentų skaičius žymiai viršytų modelio koeficientų skaičių (n>k).

Norėdami sukurti tiesinę regresijos modelis būtina:

1) parengti n eilučių ir m stulpelių sąrašą su eksperimentiniais duomenimis (stulpelis su išvesties verte Y turi būti pirmas arba paskutinis sąraše); Pavyzdžiui, paimkime duomenis iš ankstesnės užduoties, pridėdami stulpelį pavadinimu „Laikotarpio Nr.“, sunumeruokite laikotarpio skaičius nuo 1 iki 12. (tai bus reikšmės X)

2) eikite į meniu Data/Data Analysis/Regression

Jei meniu „Įrankiai“ trūksta elemento „Duomenų analizė“, tuomet turėtumėte eiti į elementą „Papildiniai“ tame pačiame meniu ir pažymėti žymimąjį laukelį „Analizės paketas“.

3) dialogo lange „Regresija“ nustatykite:

· įvesties intervalas Y;

· įvesties intervalas X;

· išvesties intervalas - viršutinis kairysis intervalo langelis, į kurį bus dedami skaičiavimo rezultatai (rekomenduojama juos įdėti į naują darbalapį);

4) spustelėkite „Gerai“ ir analizuokite rezultatus.

Paprastųjų mažiausių kvadratų (OLS) metodas - matematinis metodas, naudojamas spręsti įvairios užduotys, pagrįsta kai kurių funkcijų kvadratinių nuokrypių nuo norimų kintamųjų sumos sumažinimu. Jis gali būti naudojamas „išspręsti“ per daug apibrėžtas lygčių sistemas (kai lygčių skaičius viršija nežinomųjų skaičių), rasti sprendimą įprastų (ne per daug nustatytų) atveju. netiesinės sistemos lygtys tam tikros funkcijos taškinėms reikšmėms aproksimuoti. OLS yra vienas iš pagrindinių regresinės analizės metodų, leidžiančių įvertinti nežinomus regresijos modelių parametrus iš imties duomenų.

Enciklopedinis „YouTube“.

1 / 5

✪ Mažiausių kvadratų metodas. Tema

✪ Mažiausių kvadratų metodas, 1/2 pamoka. Linijinė funkcija

✪ Ekonometrija. 5 paskaita. Mažiausių kvadratų metodas

✪ Mitin I.V. – fizinių rezultatų apdorojimas. eksperimentas – Mažiausių kvadratų metodas (4 paskaita)

✪ Ekonometrija: 2 mažiausių kvadratų metodo esmė

Subtitrai

Istorija

Prieš pradžios XIX V. mokslininkai neturėjo tam tikros taisyklės išspręsti lygčių sistemą, kurioje nežinomųjų skaičius mažesnis už lygčių skaičių; Iki tol buvo naudojami privatūs metodai, priklausomai nuo lygčių tipo ir skaičiuotuvų sąmojingumo, todėl buvo naudojami skirtingi skaičiuotuvai, pagrįsti tais pačiais stebėjimo duomenimis. įvairių išvadų. Gaussas (1795) buvo atsakingas už pirmąjį metodo taikymą, o Legendre (1805) savarankiškai jį atrado ir paskelbė modernus pavadinimas(fr. Méthode des moindres quarrés). Laplasas šį metodą susiejo su tikimybių teorija, o amerikiečių matematikas Adrainas (1808) svarstė jo tikimybių teorinius pritaikymus. Metodas buvo plačiai paplitęs ir patobulintas tolesnių Encke, Besselio, Hanseno ir kitų tyrimų.

Mažiausių kvadratų metodo esmė

Leisti x (\displaystyle x)- rinkinys n (\displaystyle n) nežinomi kintamieji (parametrai), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- funkcijų rinkinys iš šio kintamųjų rinkinio. Užduotis yra pasirinkti tokias reikšmes x (\displaystyle x), kad šių funkcijų reikšmės būtų kuo artimesnės tam tikroms reikšmėms y i (\displaystyle y_(i)). Iš esmės mes kalbame apie apie per daug apibrėžtos lygčių sistemos „sprendimą“. f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) nurodyta didžiausio artumo kairiojo ir teisingos dalys sistemos. Mažiausių kvadratų metodo esmė yra pasirinkti kaip „artumo matą“ kairiosios ir dešiniosios kraštinių nuokrypių kvadratų sumą. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Taigi MNC esmė gali būti išreikšta taip:

Jei lygčių sistema turi sprendinį, tai bus minimali kvadratų suma lygus nuliui o tikslius lygčių sistemos sprendinius galima rasti analitiškai arba, pavyzdžiui, naudojant įvairius skaitmeniniai metodai optimizavimas. Jei sistema yra per daug apibrėžta, tai yra, laisvai kalbant, nepriklausomų lygčių skaičius daugiau kiekio norimus kintamuosius, tada sistema neturi tikslaus sprendimo ir mažiausių kvadratų metodas leidžia rasti kokį nors „optimalų“ vektorių x (\displaystyle x) vektorių maksimalaus artumo prasme y (\displaystyle y) Ir f (x) (\displaystyle f(x)) arba maksimalus nuokrypio vektoriaus artumas e (\displaystyle e) iki nulio (artumas suprantamas euklido nuotolio prasme).

Pavyzdys – tiesinių lygčių sistema

Visų pirma, sistemai „išspręsti“ galima naudoti mažiausiųjų kvadratų metodą tiesines lygtis

Kur A (\displaystyle A) stačiakampė matrica dydis m × n , m > n (\displaystyle m\times n,m>n)(t.y. matricos A eilučių skaičius yra didesnis nei ieškomų kintamųjų).

Tokia lygčių sistema in bendras atvejis sprendimo neturi. Todėl šią sistemą galima „išspręsti“ tik pasirinkus tokį vektorių x (\displaystyle x) sumažinti „atstumą“ tarp vektorių A x (\displaystyle Ax) Ir b (\displaystyle b). Norėdami tai padaryti, galite taikyti sistemos lygčių kairiosios ir dešiniosios pusės skirtumų kvadratų sumos sumažinimo kriterijų, ty (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rodyklė dešinėn \min ). Nesunku parodyti, kad išsprendus šią sumažinimo problemą galima rasti sprendimą kita sistema lygtys

OLS regresinėje analizėje (apytikslis duomenų)

Tebūnie n (\displaystyle n) kai kurių kintamųjų reikšmės y (\displaystyle y)(tai gali būti stebėjimų, eksperimentų ir kt. rezultatai) ir susijusius kintamuosius x (\displaystyle x). Iššūkis yra užtikrinti, kad santykiai tarp y (\displaystyle y) Ir x (\displaystyle x) apytikslis pagal kokią nors žinomą funkciją kai kurių nežinomų parametrų ribose b (\displaystyle b), tai yra, iš tikrųjų rasti geriausios vertybės parametrus b (\displaystyle b), maksimaliai aproksimuojant reikšmes f (x, b) (\displaystyle f(x,b)) prie faktinių verčių y (\displaystyle y). Tiesą sakant, tai susiję su per daug apibrėžtos lygčių sistemos „išsprendimu“ b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

Atliekant regresinę analizę ir ypač ekonometrijoje, tikimybiniai modeliai priklausomybės tarp kintamųjų

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

Kur ε t (\displaystyle \varepsilon _(t))- taip vadinamas atsitiktinių klaidų modeliai.

Atitinkamai, stebimų verčių nuokrypiai y (\displaystyle y) iš modelio f (x, b) (\displaystyle f(x,b)) jau daroma prielaida pačiame modelyje. Mažiausių kvadratų metodo (paprastojo, klasikinio) esmė – rasti tokius parametrus b (\displaystyle b), kurioje nuokrypių kvadratų suma (klaidos; regresijos modeliams jos dažnai vadinamos regresijos likučiais) e t (\displaystyle e_(t)) bus minimalus:

Kur R S S (\displaystyle RSS)- Anglų Likutinė kvadratų suma apibrėžiama taip:

Bendru atveju ši problema gali būti išspręsta skaitmeninio optimizavimo (miniminimo) metodais. Šiuo atveju jie kalba apie netiesiniai mažieji kvadratai(NLS arba NLLS – angl. Non-linear Least Squares). Daugeliu atvejų galite gauti analitinis sprendimas. Norint išspręsti sumažinimo problemą, būtina rasti stacionarūs taškai funkcijas R S S (b) (\displaystyle RSS(b)), skiriant jį pagal nežinomus parametrus b (\displaystyle b), prilygindami išvestines nuliui ir išsprendę gautą lygčių sistemą:

OLS tiesinės regresijos atveju

Tegul regresijos priklausomybė yra tiesinė:

Leisti y yra paaiškinamo kintamojo stebėjimų stulpelio vektorius ir X (\displaystyle X)- Tai (n × k) (\displaystyle ((n\times))))- faktorių stebėjimų matrica (matricos eilutės yra faktorių reikšmių vektoriai šis pastebėjimas, stulpeliais - reikšmių vektorius šis veiksnys visuose stebėjimuose). Tiesinio modelio matricos vaizdavimas turi tokią formą:

Tada paaiškinamo kintamojo įverčių vektorius ir regresijos likučių vektorius bus lygūs

Atitinkamai, regresijos likučių kvadratų suma bus lygi

Šios funkcijos diferencijavimas pagal parametrų vektorių b (\displaystyle b) ir išvestines prilyginus nuliui, gauname lygčių sistemą (in matricos forma):

Iššifruotoje matricos formoje ši lygčių sistema atrodo taip:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x x t 2 x t 3 k 3 x t 3 … ∑ ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2 ∑ x t k 2) ( ∑ x t k 2) ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\suma x_(t1)x_(tk)\\\suma x_(t2)x_(t1)&\suma x_(t2)^(2)&\suma x_(t2)x_(t3)&\ltaškai &\ suma x_(t2)x_(tk)\\\suma x_(t3)x_(t1)&\suma x_(t3)x_(t2)&\suma x_(t3)^(2)&\ltaškai &\suma x_ (t3)x_(tk)\\\vtaškai &\vtaškai &\vtaškai &\dtaškai &\vtaškai \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ltaškai &\sum x_(tk)^(2)\\\end(pmatrica))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vtaškai \\\sum x_(tk)y_(t)\\\end(pmatrica)),) kur paimamos visos sumos už visus priimtinos vertės t (\displaystyle t).

Jei į modelį įtraukta konstanta (kaip įprasta), tada x t 1 = 1 (\displaystyle x_(t1) = 1) visų akivaizdoje t (\displaystyle t), taigi kairėje viršutinis kampas lygčių sistemos matrica yra stebėjimų skaičius n (\displaystyle n), o likusiuose pirmosios eilutės ir pirmojo stulpelio elementuose - tiesiog kintamųjų reikšmių sumos: ∑ x t j (\displaystyle \sum x_(tj)) o pirmasis dešiniosios sistemos pusės elementas yra ∑ y t (\displaystyle \sum y_(t)).

Šios lygčių sistemos sprendimas duoda bendroji formulė OLS įverčiai tiesiniam modeliui:

Analitiniais tikslais naudingas paskutinis šios formulės atvaizdas (lygčių sistemoje dalinant iš n vietoj sumų atsiranda aritmetiniai vidurkiai). Jei regresijos modelyje duomenys centre, tada šiame vaizde pirmoji matrica turi imties faktorių kovariacijos matricos reikšmę, o antroji yra faktorių kovariacijų vektorius su priklausomu kintamuoju. Jei papildomai duomenys taip pat normalizuotasį MSE (tai yra galiausiai standartizuoti), tada pirmoji matrica turi imties reikšmę koreliacijos matrica faktoriai, antrasis vektorius yra veiksnių imties koreliacijų su priklausomu kintamuoju vektorius.

Svarbi modelių OLS įverčių savybė su pastoviu- sudaryta regresijos linija eina per imties duomenų svorio centrą, tai yra, lygybė yra įvykdyta:

Visų pirma, in kaip paskutinė priemonė, kai vienintelis regresorius yra konstanta, gauname tą OLS įvertį vienas parametras(iš tikrųjų konstantos) yra lygi vidutinei paaiškinamo kintamojo reikšmei. Tai yra aritmetinis vidurkis, žinomas dėl jo gerų savybių iš įstatymų dideli skaičiai, taip pat yra mažiausių kvadratų įvertis – jis tenkina minimalios kvadratinių nukrypimų nuo jo sumos kriterijų.

Paprasčiausi ypatingi atvejai

Porinės tiesinės regresijos atveju y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)) kai vertinama tiesinė priklausomybė vienas kintamasis nuo kito, skaičiavimo formulės supaprastintos (galite apsieiti ir be matricinė algebra). Lygčių sistema turi tokią formą:

Iš čia lengva rasti koeficientų įverčius:

Nepaisant to, kad bendrais atvejais pirmenybė teikiama modeliams su konstanta, kai kuriais atvejais iš teorinių svarstymų žinoma, kad konstanta a (\displaystyle a) turi būti lygus nuliui. Pavyzdžiui, fizikoje įtampos ir srovės santykis yra U = I ⋅ R (\displaystyle U=I\cdot R); Matuojant įtampą ir srovę, būtina įvertinti varžą. Šiuo atveju kalbame apie modelį y = b x (\displaystyle y=bx). Šiuo atveju vietoj mūsų turimos lygčių sistemos vienintelė lygtis

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Todėl vieno koeficiento įvertinimo formulė turi formą

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Polinominio modelio atvejis

Jei duomenis atitinka vieno kintamojo daugianario regresijos funkcija f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), tada, suvokdamas laipsnius x i (\displaystyle x^(i)) kaip nepriklausomus veiksnius kiekvienam i (\displaystyle i) modelio parametrus galima įvertinti remiantis bendra tiesinio modelio parametrų įvertinimo formule. Norėdami tai padaryti, pakanka atsižvelgti į bendrąją formulę, kad su tokiu aiškinimu x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) Ir x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Vadinasi, matricines lygtis V tokiu atveju bus tokia forma:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x t 2 … ∑ n x t k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 k ) [ b t k + 1 k ] = [ ∑ n y t ∑ n t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vtaškai & \vtaškai &\dtaškai &\vtaškai \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ltaškai &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vtaškai \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrica)).

Statistinės OLS įverčių savybės

Visų pirma pažymime, kad tiesiniams modeliams OLS įverčiai yra tokie tiesiniai įverčiai, kaip matyti iš aukščiau pateiktos formulės. Norint atlikti nešališkus OLS įverčius, tai būtina ir pakanka atlikti svarbiausia sąlyga regresinė analizė: atsižvelgiant į veiksnius, matematinis atsitiktinės paklaidos lūkestis turi būti lygus nuliui. Ši sąlyga, ypač yra patenkintas, jei

1. tikėtina vertė atsitiktinių klaidų lygus nuliui ir
2. faktoriai ir atsitiktinės paklaidos yra nepriklausomi atsitiktiniai  kintamieji.

Antroji sąlyga – veiksnių egzogeniškumo sąlyga – yra esminė. Jei ši savybė nepatenkinama, galime manyti, kad beveik visi įverčiai bus labai nepatenkinami: jie net nebus nuoseklūs (ty net labai didelis tūris duomenys neleidžia gauti kokybiniai vertinimai tokiu atveju). Klasikiniu atveju daroma stipresnė prielaida apie veiksnių determinizmą, o ne atsitiktinę paklaidą, kuri automatiškai reiškia, kad egzogeniškumo sąlyga yra įvykdyta. Bendru atveju, kad įverčiai būtų nuoseklūs, pakanka tenkinti egzogeniškumo sąlygą kartu su matricos konvergencija V x (\displaystyle V_(x))į kokią nors nevienetinę matricą, kai imties dydis didėja iki begalybės.

Kad, be nuoseklumo ir nešališkumo, (paprastųjų) mažiausių kvadratų įverčiai taip pat būtų veiksmingi (geriausi tiesinių nešališkų įverčių klasėje), turi būti įvykdytos papildomos atsitiktinės paklaidos savybės:

Šios prielaidos gali būti suformuluotos atsitiktinės paklaidos vektoriaus kovariacijos matricai V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Šias sąlygas tenkinantis tiesinis modelis vadinamas klasikinis. Klasikinės tiesinės regresijos OLS įverčiai yra nešališki, nuoseklūs ir veiksmingiausi visų tiesinių nešališkų įverčių klasėje (anglų literatūroje santrumpa kartais vartojama MĖLYNA (Geriausias tiesinis nešališkas įvertinimo įrankis) – geriausias tiesinis nešališkas įvertis; V rusų literatūra dažniau cituojama Gauso-Markovo teorema). Kaip nesunku parodyti, koeficientų įverčių vektoriaus kovariacijos matrica bus lygi:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Efektyvumas reiškia, kad ši kovariacijos matrica yra „minimali“ (bet koks tiesinis koeficientų derinys, o ypač patys koeficientai, turi minimalią dispersiją), tai yra, linijinių nešališkų įverčių klasėje geriausi yra OLS įverčiai. Šios matricos įstrižainės yra koeficientų įverčių dispersijos - svarbius parametrus gautų vertinimų kokybę. Tačiau kovariacijos matricos apskaičiuoti neįmanoma, nes atsitiktinės paklaidos dispersija nežinoma. Galima įrodyti, kad nešališkas ir nuoseklus (klasikiniam tiesiniam modeliui) atsitiktinių paklaidų dispersijos įvertis yra dydis:

S 2 = R S S / (n − k) (\displaystyle s^(2) = RSS/(n-k)).

Pakeitę šią reikšmę į kovariacijos matricos formulę, gauname kovariacijos matricos įvertį. Gauti įvertinimai taip pat yra nešališki ir nuoseklūs. Taip pat svarbu, kad paklaidos dispersijos įvertis (taigi ir koeficientų dispersija) ir modelio parametrų įverčiai būtų nepriklausomi atsitiktiniai dydžiai, todėl galima gauti testų statistiką hipotezėms apie modelio koeficientus tikrinti.

Reikėtų pažymėti, kad jei nesilaikoma klasikinių prielaidų, OLS parametrų įvertinimai nėra patys efektyviausi ir W (\displaystyle W) yra tam tikra simetriška teigiamo apibrėžtojo svorio matrica. Įprasti mažiausi kvadratai yra ypatingas šio metodo atvejis, kai svorio matrica yra proporcinga tapatybės matricai. Kaip žinoma, simetrinėms matricoms (arba operatoriams) yra išplėtimas W = P T P (\displaystyle W=P^(T)P). Todėl nurodytą funkciją galima pavaizduoti taip e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)) ty ši funkcija gali būti pavaizduota kaip kai kurių transformuotų „likučių“ kvadratų suma. Taigi galime išskirti mažiausių kvadratų metodų klasę – LS metodus (Least Squares).

Įrodyta (Aitkeno teorema), kad apibendrintam tiesinės regresijos modeliui (kuriame atsitiktinių paklaidų kovariacijos matricai netaikomi jokie apribojimai) efektyviausi (tiesinių nešališkų įverčių klasėje) yra vadinamieji įverčiai. apibendrinti mažiausių kvadratų (GLS – generalized Least Squares)- LS metodas su svorio matrica, lygia atsitiktinių klaidų atvirkštinei kovariacijos matricai: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Galima parodyti, kad tiesinio modelio parametrų GLS įverčių formulė turi formą

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Šių įverčių kovariacijos matrica atitinkamai bus lygi

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

Tiesą sakant, OLS esmė slypi tam tikroje (tiesinėje) pirminių duomenų transformacijoje (P) ir įprasto OLS pritaikyme transformuotiems duomenims. Šios transformacijos tikslas yra tas, kad transformuotų duomenų atsitiktinės paklaidos jau tenkintų klasikines prielaidas.

Svertinis OLS

Įstrižainės svorio matricos (taigi ir atsitiktinių paklaidų kovariacijos matricos) atveju turime taip vadinamą svertinį mažiausią kvadratą (WLS). Šiuo atveju modelio likučių kvadratų svertinė suma yra sumažinta, tai yra, kiekvienas stebėjimas gauna „svorį“, kuris yra atvirkščiai proporcingas šio stebėjimo atsitiktinės paklaidos dispersijai: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Tiesą sakant, duomenys transformuojami pasveriant stebėjimus (padalijus iš sumos, proporcingos laukiamam). standartinis nuokrypis atsitiktinės klaidos), o įprastas OLS taikomas svertiniams duomenims.

ISBN 978-5-7749-0473-0 .

Vienas iš metodų tiriant stochastinius ryšius tarp charakteristikų yra regresinė analizė.
Regresinė analizė yra regresijos lygties, kuri naudojama rasti, išvestis Vidutinė vertė atsitiktinis dydis (rezultato požymis), jei žinoma kitų (ar kitų) kintamųjų (veiksnių atributų) reikšmė. Tai apima šiuos veiksmus:

1. ryšio formos parinkimas (analitinės regresijos lygties tipas);
2. lygties parametrų įvertinimas;
3. analitinės regresijos lygties kokybės įvertinimas.

Dažniausiai naudojamas parametrams įvertinti Mažiausių kvadratų metodas (LSM).
Mažiausių kvadratų metodas pateikia geriausius (nuoseklius, efektyvius ir nešališkus) regresijos lygties parametrų įverčius. Bet tik tuo atveju, jei tenkinamos tam tikros prielaidos dėl atsitiktinio termino (u) ir nepriklausomo kintamojo (x) (žr. OLS prielaidas).

Tiesinės poros lygties parametrų įvertinimo mažiausių kvadratų metodu problema yra taip: gauti tokius parametrų įverčius , , kurių kvadratinių nuokrypių suma faktines vertes efektyvus požymis - y i iš apskaičiuotų verčių - yra minimalus.
Formaliai OLS testas galima parašyti taip: .

Mažiausių kvadratų metodų klasifikacija

1. Mažiausio kvadrato metodas.
2. Metodas didžiausia tikimybė(normaliam klasikiniam tiesinės regresijos modeliui postuluojamas regresijos liekanų normalumas).
3. Apibendrintas mažiausių kvadratų OLS metodas naudojamas klaidų autokoreliacijos ir heteroskedastikos atveju.
4. Svertinių mažiausių kvadratų metodas ( ypatinga byla OLS su heteroskedastiniais likučiais).

Iliustruojame esmę klasikinis metodas grafiškai mažiausiųjų kvadratų. Norėdami tai padaryti, pagal stebėjimo duomenis (x i , y i , i=1;n) sudarysime sklaidos diagramą stačiakampė sistema koordinates (toks taškinis brėžinys vadinamas koreliacijos lauku). Pabandykime rasti tiesę, kuri yra arčiausiai taškų koreliacijos laukas. Pagal mažiausių kvadratų metodą tiesė parenkama taip, kad vertikalių atstumų tarp koreliacijos lauko taškų ir šios tiesės kvadratų suma būtų minimali.

Matematinis šios problemos žymėjimas: .
Mums žinomos y i ir x i = 1...n reikšmės, tai yra stebėjimo duomenys. S funkcijoje jie reiškia konstantas. Šios funkcijos kintamieji yra būtini parametrų įverčiai - , . Norint rasti dviejų kintamųjų funkcijos minimumą, reikia kiekvienam iš parametrų apskaičiuoti šios funkcijos dalines išvestines ir prilyginti jas nuliui, t.y. .
Dėl to gauname 2 normalių tiesinių lygčių sistemą:
Išspręsdami šią sistemą, randame reikiamus parametrų įvertinimus:

Regresijos lygties parametrų skaičiavimo teisingumą galima patikrinti lyginant sumas (dėl skaičiavimų apvalinimo gali atsirasti tam tikras neatitikimas).
Norėdami apskaičiuoti parametrų įvertinimus, galite sudaryti 1 lentelę.
Regresijos koeficiento b ženklas rodo ryšio kryptį (jei b >0, ryšys tiesioginis, jei b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Formaliai parametro a reikšmė yra vidutinė y reikšmė, kai x lygi nuliui. Jei atributo faktorius neturi ir negali turėti nulinės reikšmės, tai aukščiau pateiktas parametro a aiškinimas neturi prasmės.

Požymių santykio glaudumo vertinimas atlikta naudojant tiesinės poros koreliacijos koeficientą - r x,y. Jį galima apskaičiuoti naudojant formulę: . Be to, tiesinės poros koreliacijos koeficientą galima nustatyti naudojant regresijos koeficientą b: .
Tiesinės poros koreliacijos koeficiento priimtinų verčių diapazonas yra nuo –1 iki +1. Koreliacijos koeficiento ženklas rodo ryšio kryptį. Jei r x, y >0, tai ryšys yra tiesioginis; jei r x, y<0, то связь обратная.
Jei šis koeficientas yra artimas vienetui pagal dydį, tada charakteristikų santykis gali būti interpretuojamas kaip gana artimas tiesinis. Jeigu jo modulis lygus vienam ê r x , y ê =1, tai ryšys tarp charakteristikų yra funkcinis tiesinis. Jei požymiai x ir y yra tiesiškai nepriklausomi, tai r x,y yra artimas 0.
Norėdami apskaičiuoti r x,y, taip pat galite naudoti 1 lentelę.

1 lentelė

N pastebėjimų	x i	y i	x i ∙y i
1	x 1	y 1	x 1 y 1
2	x 2	y 2	x 2 y 2
...
n	x n	y n	x n y n
Stulpelio suma	∑x	∑y	∑xy
Vidutinė vertė

Mažiausio kvadrato metodas

Mažiausio kvadrato metodas ( OLS, OLS, įprasti mažiausi kvadratai) - vienas iš pagrindinių regresinės analizės metodų nežinomiems regresijos modelių parametrams įvertinti naudojant imties duomenis. Metodas pagrįstas regresijos likučių kvadratų sumos sumažinimu.

Pažymėtina, kad patį mažiausių kvadratų metodą galima vadinti bet kurios srities uždavinio sprendimo metodu, jei sprendimas atitinka arba tenkina kokį nors kriterijų, leidžiantį sumažinti kai kurių reikiamų kintamųjų funkcijų kvadratų sumą. Todėl mažiausių kvadratų metodas taip pat gali būti naudojamas apytiksliui tam tikros funkcijos atvaizdavimui (aproksimacijai) kitomis (paprastesnėmis) funkcijomis, ieškant dydžių aibės, atitinkančios lygtis ar apribojimus, kurių skaičius viršija šių dydžių skaičių. ir kt.

MNC esmė

Tegu pateikiamas koks nors (parametrinis) tikimybinio (regresijos) ryšio tarp (paaiškinamo) kintamojo modelis y ir daug veiksnių (aiškinamieji kintamieji) x

kur yra nežinomų modelio parametrų vektorius

Tegul taip pat yra pavyzdiniai šių kintamųjų verčių stebėjimai. Leisti yra stebėjimo numeris (). Tada yra kintamųjų reikšmės stebėjime. Tada, esant nurodytoms parametrų b reikšmėms, galima apskaičiuoti paaiškinamo kintamojo y teorines (modelio) reikšmes:

Likučių dydis priklauso nuo parametrų verčių b.

Mažiausių kvadratų metodo (paprastojo, klasikinio) esmė yra rasti tokius parametrus b, kurių likučių kvadratų suma (angl. Likutinė kvadratų suma) bus minimalus:

Bendru atveju ši problema gali būti išspręsta skaitmeninio optimizavimo (miniminimo) metodais. Šiuo atveju jie kalba apie netiesiniai mažieji kvadratai(NLS arba NLLS – anglų kalba) Netiesiniai mažiausi kvadratai). Daugeliu atvejų galima gauti analitinį sprendimą. Norint išspręsti minimizavimo uždavinį, reikia surasti stacionarius funkcijos taškus, diferencijuojant ją nežinomų parametrų b atžvilgiu, išvestines prilyginant nuliui ir išsprendžiant gautą lygčių sistemą:

Jei modelio atsitiktinės klaidos yra įprastai paskirstytos, turi tą pačią dispersiją ir nėra koreliuojamos, OLS parametrų įverčiai yra tokie patys kaip didžiausios tikimybės įverčiai (MLM).

OLS tiesinio modelio atveju

Tegul regresijos priklausomybė yra tiesinė:

Leisti y yra paaiškinamo kintamojo stebėjimų stulpelio vektorius ir faktorių stebėjimų matrica (matricos eilutės yra tam tikro stebėjimo faktorių reikšmių vektoriai, stulpeliai yra tam tikro faktoriaus reikšmių vektorius visuose stebėjimuose). Tiesinio modelio matricos vaizdavimas yra toks:

Tada paaiškinamo kintamojo įverčių vektorius ir regresijos likučių vektorius bus lygūs

Atitinkamai, regresijos likučių kvadratų suma bus lygi

Diferencijuodami šią funkciją parametrų vektoriaus atžvilgiu ir išvestines prilygindami nuliui, gauname lygčių sistemą (matricos pavidalu):

Šios lygčių sistemos sprendimas pateikia bendrą tiesinio modelio mažiausių kvadratų įverčių formulę:

Analitiniais tikslais naudingas pastarasis šios formulės atvaizdas. Jei regresijos modelyje duomenys centre, tada šiame vaizde pirmoji matrica turi imties faktorių kovariacijos matricos reikšmę, o antroji yra faktorių kovariacijų vektorius su priklausomu kintamuoju. Jei papildomai duomenys taip pat normalizuotasį MSE (tai yra galiausiai standartizuoti), tada pirmoji matrica turi veiksnių imties koreliacijos matricos reikšmę, antrasis vektorius - veiksnių imties koreliacijų vektorius su priklausomu kintamuoju.

Svarbi modelių OLS įverčių savybė su pastoviu- sudaryta regresijos linija eina per imties duomenų svorio centrą, tai yra, lygybė yra įvykdyta:

Ypač kraštutiniu atveju, kai vienintelis regresorius yra konstanta, nustatome, kad vienintelio parametro (pačios konstantos) OLS įvertis yra lygus vidutinei paaiškinamo kintamojo vertei. Tai yra, aritmetinis vidurkis, žinomas dėl savo gerųjų savybių iš didelių skaičių dėsnių, taip pat yra mažiausių kvadratų įvertis – jis atitinka minimalios kvadratinių nukrypimų nuo jo sumos kriterijų.

Pavyzdys: paprasčiausia (porinė) regresija

Suporuotos tiesinės regresijos atveju skaičiavimo formulės yra supaprastintos (galite apsieiti be matricinės algebros):

OLS įverčių savybės

Visų pirma pažymime, kad tiesiniams modeliams OLS įverčiai yra tiesiniai įverčiai, kaip matyti iš aukščiau pateiktos formulės. Nešališkiems OLS įverčiams būtina ir pakanka įvykdyti svarbiausią regresinės analizės sąlygą: atsitiktinės paklaidos matematinis lūkestis, priklausantis nuo faktorių, turi būti lygus nuliui. Ši sąlyga visų pirma tenkinama, jei

1. atsitiktinių klaidų matematinis lūkestis lygus nuliui, ir
2. veiksniai ir atsitiktinės paklaidos yra nepriklausomi atsitiktiniai dydžiai.

Antroji sąlyga – veiksnių egzogeniškumo sąlyga – yra esminė. Jei ši savybė nesilaikoma, galime manyti, kad beveik bet kokie įverčiai bus itin nepatenkinami: jie net nebus nuoseklūs (tai yra, net ir labai didelis duomenų kiekis neleidžia gauti kokybiškų įverčių šiuo atveju ). Klasikiniu atveju daroma stipresnė prielaida apie veiksnių determinizmą, o ne atsitiktinę paklaidą, kuri automatiškai reiškia, kad egzogeniškumo sąlyga yra įvykdyta. Bendruoju atveju, kad įverčiai būtų nuoseklūs, pakanka tenkinti egzogeniškumo sąlygą kartu su matricos konvergencija į kokią nors nevienetinę matricą, kai imties dydis didėja iki begalybės.

Kad, be nuoseklumo ir nešališkumo, (paprastųjų) mažiausių kvadratų įverčiai taip pat būtų veiksmingi (geriausi tiesinių nešališkų įverčių klasėje), turi būti įvykdytos papildomos atsitiktinės paklaidos savybės:

Šios prielaidos gali būti suformuluotos atsitiktinės paklaidos vektoriaus kovariacijos matricai

Šias sąlygas tenkinantis tiesinis modelis vadinamas klasikinis. Klasikinės tiesinės regresijos OLS įverčiai yra nešališki, nuoseklūs ir veiksmingiausi visų tiesinių nešališkų įverčių klasėje (anglų literatūroje santrumpa kartais vartojama MĖLYNA (Geriausias tiesinis nepagrįstas įvertinimo įrankis) – geriausias tiesinis nešališkas įvertis; rusų literatūroje dažniau cituojama Gauso-Markovo teorema). Kaip nesunku parodyti, koeficientų įverčių vektoriaus kovariacijos matrica bus lygi:

Apibendrintas OLS

Mažiausių kvadratų metodas leidžia plačiai apibendrinti. Užuot sumažinus likučių kvadratų sumą, galima sumažinti kokią nors teigiamą apibrėžtą kvadratinę likučių vektoriaus formą, kur yra kokia nors simetriška teigiamo apibrėžtojo svorio matrica. Įprasti mažiausi kvadratai yra ypatingas šio metodo atvejis, kai svorio matrica yra proporcinga tapatybės matricai. Kaip žinoma iš simetrinių matricų (arba operatorių) teorijos, tokios matricos yra skaidomos. Vadinasi, nurodytą funkciją galima pavaizduoti taip, tai yra, ši funkcija gali būti pavaizduota kaip kai kurių transformuotų „likučių“ kvadratų suma. Taigi galime išskirti mažiausių kvadratų metodų klasę – LS metodus (Least Squares).

Įrodyta (Aitkeno teorema), kad apibendrintam tiesinės regresijos modeliui (kuriame atsitiktinių paklaidų kovariacijos matricai netaikomi jokie apribojimai) efektyviausi (tiesinių nešališkų įverčių klasėje) yra vadinamieji įverčiai. apibendrinti mažiausių kvadratų (GLS – generalized Least Squares)- LS metodas su svorio matrica, lygia atsitiktinių paklaidų atvirkštinei kovariacijos matricai: .

Galima parodyti, kad tiesinio modelio parametrų GLS įverčių formulė turi formą

Šių įverčių kovariacijos matrica atitinkamai bus lygi

Tiesą sakant, OLS esmė slypi tam tikroje (tiesinėje) pirminių duomenų transformacijoje (P) ir įprasto OLS pritaikyme transformuotiems duomenims. Šios transformacijos tikslas yra tas, kad transformuotų duomenų atsitiktinės paklaidos jau tenkintų klasikines prielaidas.

Svertinis OLS

Įstrižainės svorio matricos (taigi ir atsitiktinių paklaidų kovariacijos matricos) atveju turime taip vadinamą svertinį mažiausią kvadratą (WLS). Šiuo atveju modelio likučių svertinė kvadratų suma yra sumažinta, tai yra, kiekvienas stebėjimas gauna „svorį“, kuris yra atvirkščiai proporcingas šio stebėjimo atsitiktinės paklaidos dispersijai: . Tiesą sakant, duomenys transformuojami pasveriant stebėjimus (padalijus iš sumos, proporcingos apskaičiuotam atsitiktinių klaidų standartiniam nuokrypiui), o svertiniams duomenims taikomas įprastas OLS.

Kai kurie ypatingi MNC naudojimo praktikoje atvejai

Tiesinės priklausomybės aproksimacija

Panagrinėkime atvejį, kai, tiriant tam tikro skaliarinio dydžio priklausomybę nuo tam tikro skaliarinio dydžio (tai gali būti, pavyzdžiui, įtampos priklausomybė nuo srovės stiprumo: , kur yra pastovi vertė, varža laidininkas), buvo atlikti šių dydžių matavimai, dėl kurių buvo nustatytos reikšmės ir jas atitinkančios vertės. Matavimo duomenys turi būti įrašyti į lentelę.

Lentelė. Matavimo rezultatai.

Kyla klausimas: kokią koeficiento reikšmę galima pasirinkti geriausiai priklausomybei apibūdinti? Pagal mažiausių kvadratų metodą ši vertė turėtų būti tokia, kad reikšmių nuokrypių nuo reikšmių kvadratų suma

buvo minimalus

Nukrypimų kvadratu suma turi vieną ekstremumą – minimumą, leidžiantį naudoti šią formulę. Iš šios formulės raskime koeficiento reikšmę. Norėdami tai padaryti, pakeičiame jo kairę pusę taip:

Paskutinė formulė leidžia mums rasti koeficiento reikšmę, kurios buvo reikalaujama uždavinyje.

Istorija

Iki pat XIX amžiaus pradžios. mokslininkai neturėjo tam tikrų taisyklių, kaip išspręsti lygčių sistemą, kurioje nežinomųjų skaičius yra mažesnis už lygčių skaičių; Iki tol buvo naudojamos privačios technikos, kurios priklausė nuo lygčių tipo ir skaičiuoklių sąmojingumo, todėl skirtingi skaičiuotuvai, remdamiesi tais pačiais stebėjimų duomenimis, priėjo prie skirtingų išvadų. Gaussas (1795) pirmasis panaudojo metodą, o Legendre (1805) savarankiškai atrado ir paskelbė jį šiuolaikiniu pavadinimu (prancūzų k.). Méthode des moindres quarrés ). Laplasas šį metodą susiejo su tikimybių teorija, o amerikiečių matematikas Adrainas (1808) svarstė jo tikimybių teorijos taikymą. Metodas buvo plačiai paplitęs ir patobulintas tolesnių Encke, Besselio, Hanseno ir kitų tyrimų.

Alternatyvūs OLS naudojimo būdai

Mažiausių kvadratų metodo idėja gali būti naudojama ir kitais atvejais, tiesiogiai nesusijusiais su regresine analize. Faktas yra tas, kad kvadratų suma yra vienas iš labiausiai paplitusių vektorių artumo matų (Euklido metrika baigtinių matmenų erdvėse).

Viena iš taikymo sričių yra tiesinių lygčių sistemų „sprendimas“, kuriose lygčių skaičius yra didesnis už kintamųjų skaičių.

kur matrica yra ne kvadrato, o stačiakampio dydžio.

Tokia lygčių sistema bendru atveju neturi sprendinio (jei rangas iš tikrųjų yra didesnis už kintamųjų skaičių). Todėl šią sistemą galima „išspręsti“ tik pasirinkus tokį vektorių, kad būtų sumažintas „atstumas“ tarp vektorių ir . Norėdami tai padaryti, galite taikyti sistemos lygčių kairiosios ir dešiniosios pusės skirtumų kvadratų sumos sumažinimo kriterijų, ty. Nesunku parodyti, kad išsprendus šią minimalizavimo problemą galima išspręsti šią lygčių sistemą

Išlyginus gauname tokios formos funkciją: g (x) = x + 1 3 + 1 .

Šiuos duomenis galime aproksimuoti naudodami tiesinį ryšį y = a x + b, apskaičiuodami atitinkamus parametrus. Norėdami tai padaryti, turėsime taikyti vadinamąjį mažiausių kvadratų metodą. Taip pat turėsite padaryti brėžinį, kad patikrintumėte, kuri linija geriausiai suderins eksperimentinius duomenis.

Yandex.RTB R-A-339285-1

Kas tiksliai yra OLS (mažiausių kvadratų metodas)

Pagrindinis dalykas, kurį turime padaryti, yra rasti tokius tiesinės priklausomybės koeficientus, kuriems esant dviejų kintamųjų F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 funkcijos reikšmė būtų mažiausias. Kitaip tariant, esant tam tikroms a ir b reikšmėms, pateiktų duomenų kvadratinių nuokrypių nuo gautos tiesės suma turės mažiausią reikšmę. Tai yra mažiausių kvadratų metodo reikšmė. Viskas, ką turime padaryti, kad išspręstume pavyzdį, tai rasti dviejų kintamųjų funkcijos ekstremumą.

Kaip išvesti koeficientų skaičiavimo formules

Norint išvesti koeficientų skaičiavimo formules, reikia sukurti ir išspręsti lygčių sistemą su dviem kintamaisiais. Norėdami tai padaryti, apskaičiuojame išraiškos F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 dalines išvestines a ir b atžvilgiu ir prilyginame jas 0.

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ b i = a 1 n x i + ∑ b i = i = i ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Norėdami išspręsti lygčių sistemą, galite naudoti bet kokius metodus, pavyzdžiui, pakeitimą arba Cramerio metodą. Dėl to turėtume turėti formules, pagal kurias būtų galima apskaičiuoti koeficientus naudojant mažiausių kvadratų metodą.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n i = 1 n - i i = 1 n x i 2 b = ∑ i = 1 n ∑ i = 1 n ∑ y

Mes apskaičiavome kintamųjų, kuriuose veikia funkcija, reikšmes
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 įgis mažiausią reikšmę. Trečioje pastraipoje įrodysime, kodėl taip yra.

Tai mažiausių kvadratų metodo taikymas praktikoje. Jo formulė, kuri naudojama norint rasti parametrą a, apima ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2, taip pat parametrą
n – žymi eksperimentinių duomenų kiekį. Patariame kiekvieną sumą skaičiuoti atskirai. Koeficiento b reikšmė apskaičiuojama iš karto po a.

Grįžkime prie pradinio pavyzdžio.

1 pavyzdys

Čia mes turime n lygų penkiems. Kad būtų patogiau apskaičiuoti reikiamas sumas, įtrauktas į koeficientų formules, užpildykime lentelę.

Sprendimas

Ketvirtoje eilutėje pateikiami duomenys, gauti padauginus antrosios eilutės reikšmes iš trečiosios vertės kiekvienam asmeniui, t. Penktoje eilutėje yra duomenys iš antrosios, kvadratu. Paskutiniame stulpelyje rodomos atskirų eilučių verčių sumos.

Naudokime mažiausių kvadratų metodą, kad apskaičiuotume mums reikalingus koeficientus a ir b. Norėdami tai padaryti, pakeiskite reikiamas vertes iš paskutinio stulpelio ir apskaičiuokite sumas:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n i = 1 n - i = 1 n x i 2 b = ∑ i = 1 a n i = 1 n 1 n 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Pasirodo, kad reikiama apytikslė tiesė atrodys taip, kaip y = 0, 165 x + 2, 184. Dabar turime nustatyti, kuri eilutė geriau apytiksliai atitiks duomenis - g (x) = x + 1 3 + 1 arba 0, 165 x + 2, 184. Įvertinkime mažiausiųjų kvadratų metodą.

Norėdami apskaičiuoti paklaidą, turime rasti duomenų kvadratinių nuokrypių sumą nuo tiesių σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 ir σ 2 = ∑ i = 1 n (y i) - g (x i)) 2, mažiausia reikšmė atitiks tinkamesnę eilutę.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0,096

Atsakymas: nuo σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2,184.

Mažiausių kvadratų metodas aiškiai parodytas grafinėje iliustracijoje. Raudona linija žymi tiesę g (x) = x + 1 3 + 1, mėlyna linija žymi y = 0, 165 x + 2, 184. Pradiniai duomenys pažymėti rausvais taškais.

Paaiškinkime, kodėl reikalingi būtent tokio tipo aproksimacijos.

Jie gali būti naudojami atliekant užduotis, kurioms reikalingas duomenų išlyginimas, taip pat tose, kur duomenis reikia interpoliuoti arba ekstrapoliuoti. Pavyzdžiui, aukščiau aptartoje užduotyje galima rasti stebimo dydžio y reikšmę, kai x = 3 arba kai x = 6. Tokiems pavyzdžiams skyrėme atskirą straipsnį.

OLS metodo įrodymas

Kad funkcija įgautų mažiausią reikšmę, kai apskaičiuojami a ir b, būtina, kad tam tikrame taške formos F (a, b) formos diferencialo kvadratinės formos matrica = ∑ i = 1 n (y i - (a x i + b)) 2 yra teigiamas apibrėžtasis. Parodykime, kaip jis turėtų atrodyti.

2 pavyzdys

Turime šios formos antros eilės skirtumą:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2 b

Sprendimas

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Kitaip tariant, galime parašyti taip: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.

Gavome kvadratinės formos M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n matricą.

Šiuo atveju atskirų elementų reikšmės nesikeis priklausomai nuo a ir b . Ar ši matrica yra teigiama? Norėdami atsakyti į šį klausimą, patikrinkime, ar jo kampiniai nepilnamečiai yra teigiami.

Mes skaičiuojame kampinis nepilnametis pirmoji eilė: 2 ∑ i = 1 n (x i) 2 > 0 . Kadangi taškai x i nesutampa, nelygybė yra griežta. Tai atsižvelgsime į tolesnius skaičiavimus.

Skaičiuojame antros eilės kampinį minorą:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - 12 n i = i

Po to imame įrodinėti nelygybę n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0, naudojant matematinę indukciją.

1. Patikrinkim ar bus ši nelygybė galioja savavališkai n. Paimkime 2 ir apskaičiuokime:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Gavome teisingą lygybę (jei reikšmės x 1 ir x 2 nesutampa).

1. Darykime prielaidą, kad ši nelygybė bus teisinga n, t.y. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – tiesa.
2. Dabar įrodysime pagrįstumą n + 1, t.y. kad (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, jei n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Skaičiuojame:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x 2 i 2 + x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Išraiška, esanti petnešos, bus didesnis nei 0 (remiantis tuo, ką darėme 2 veiksme), o likę nariai bus didesni už 0, nes jie visi yra skaičių kvadratai. Mes įrodėme nelygybę.

Atsakymas: rasti a ir b atitiks mažiausia vertė funkcijos F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2, tai reiškia, kad jie yra būtini mažiausių kvadratų metodo (LSM) parametrai.

Jei tekste pastebėjote klaidą, pažymėkite ją ir paspauskite Ctrl+Enter