I minimi quadrati è una procedura matematica per costruire un'equazione lineare che si adatta meglio a un insieme di coppie ordinate trovando i valori per aeb, i coefficienti nell'equazione di una retta. L'obiettivo del metodo dei minimi quadrati è ridurre al minimo l'errore al quadrato totale tra i valori y e ŷ. Se per ogni punto determiniamo l'errore ŷ, il metodo dei minimi quadrati minimizza:

dove n = numero di coppie ordinate attorno alla linea. più rilevanti per i dati.

Questo concetto è illustrato nella figura

A giudicare dalla figura, la linea che meglio si adatta ai dati, la linea di regressione, riduce al minimo l'errore al quadrato totale dei quattro punti del grafico. Ti mostrerò come determinarlo usando il metodo dei minimi quadrati nell'esempio seguente.

Immagina una giovane coppia che di recente vive insieme e condivide un tavolo da toeletta del bagno. Il giovane iniziò a notare che metà del suo tavolo si stava inesorabilmente rimpicciolendo, perdendo terreno a causa di mousse per capelli e complessi di soia. Negli ultimi mesi, il ragazzo ha monitorato da vicino la velocità con cui il numero di oggetti dalla sua parte del tavolo è in aumento. La tabella seguente mostra il numero di oggetti che la ragazza ha sul tavolo del bagno che si sono accumulati negli ultimi mesi.

Poiché il nostro obiettivo è scoprire se il numero di elementi aumenta nel tempo, "Mese" sarà la variabile indipendente e "Numero di elementi" sarà la variabile dipendente.

Utilizzando il metodo dei minimi quadrati, determiniamo l'equazione che meglio si adatta ai dati calcolando i valori di a, il segmento sull'asse y, e b, la pendenza della retta:

a = y cfr - bx cfr

dove x cf è il valore medio di x, la variabile indipendente, y cf è il valore medio di y, la variabile indipendente.

La tabella seguente riassume i calcoli richiesti per queste equazioni.

La curva dell'effetto per il nostro esempio di vasca da bagno sarebbe data dalla seguente equazione:

Poiché la nostra equazione ha una pendenza positiva di 0,976, il ragazzo ha la prova che il numero di elementi sul tavolo aumenta nel tempo a una velocità media di 1 elemento al mese. Il grafico mostra la curva dell'effetto con coppie ordinate.

Il numero previsto di voci per il prossimo semestre (mese 16) sarà calcolato come segue:

ŷ = 5,13 + 0,976x = 5,13 + 0,976(16) ~ 20,7 = 21 elementi

Quindi è tempo che il nostro eroe agisca.

funzione TENDENZA in Excel

Come avrai intuito, Excel ha una funzione da cui calcolare un valore metodo dei minimi quadrati. Questa funzione si chiama TENDENZA. La sua sintassi è la seguente:

TREND (valori Y noti; valori X noti; nuovi valori X; const)

valori noti di Y - una matrice di variabili dipendenti, nel nostro caso, il numero di elementi sulla tabella

valori noti di X - una matrice di variabili indipendenti, nel nostro caso è un mese

nuovi valori X – nuovi valori X (mese) per i quali funzione TENDENZA restituisce il valore atteso delle variabili dipendenti (numero di elementi)

const - facoltativo. Un valore booleano che specifica se la costante b deve essere 0.

Ad esempio, la figura mostra la funzione TREND utilizzata per determinare il numero previsto di articoli sul tavolo del bagno per il 16° mese.

Metodo dei minimi quadrati viene utilizzato per stimare i parametri dell'equazione di regressione.

Numero di righe (dati iniziali)

Uno dei metodi per studiare le relazioni stocastiche tra le caratteristiche è l'analisi di regressione.
L'analisi di regressione è la derivazione di un'equazione di regressione, che viene utilizzata per trovare il valore medio di una variabile casuale (feature-risultato), se è noto il valore di un'altra (o altre) variabili (feature-factor). Include i seguenti passaggi:

1. scelta della forma di connessione (tipo di equazione di regressione analitica);
2. stima dei parametri dell'equazione;
3. valutazione della qualità dell'equazione di regressione analitica.

Molto spesso, una forma lineare viene utilizzata per descrivere la relazione statistica delle caratteristiche. L'attenzione a una relazione lineare si spiega con una chiara interpretazione economica dei suoi parametri, limitata dalla variazione delle variabili, e dal fatto che nella maggior parte dei casi, le forme non lineari di una relazione vengono convertite (prendendo logaritmi o modificando le variabili) in una modulo per eseguire calcoli.
Nel caso di una relazione di coppia lineare, l'equazione di regressione assumerà la forma: y i =a+b·x i +u i . I parametri di questa equazione aeb sono stimati dai dati dell'osservazione statistica xey. Il risultato di tale valutazione è l'equazione: , dove , - stime dei parametri aeb , - il valore della caratteristica effettiva (variabile) ottenuta dall'equazione di regressione (valore calcolato).

Il più comunemente usato per la stima dei parametri è metodo dei minimi quadrati (LSM).
Il metodo dei minimi quadrati fornisce le migliori stime (coerenti, efficienti e imparziali) dei parametri dell'equazione di regressione. Ma solo se vengono soddisfatte determinate ipotesi sul termine casuale (u) e sulla variabile indipendente (x) (vedi ipotesi OLS).

Il problema della stima dei parametri di un'equazione di coppia lineare con il metodo dei minimi quadrati consiste nel seguente: ottenere tali stime dei parametri , , a cui la somma delle deviazioni al quadrato dei valori effettivi della caratteristica effettiva - y i dai valori calcolati - è minima.
Formalmente criterio OLS si può scrivere così: .

Classificazione dei metodi dei minimi quadrati

1. Metodo dei minimi quadrati.
2. Metodo della massima verosimiglianza (per un modello di regressione lineare classica normale, viene postulata la normalità dei residui di regressione).
3. Il metodo dei minimi quadrati generalizzati di GLSM viene utilizzato nel caso di autocorrelazione dell'errore e nel caso di eteroschedasticità.
4. Metodo dei minimi quadrati pesati (un caso speciale di GLSM con residui eteroscedastici).

Illustra l'essenza graficamente il metodo classico dei minimi quadrati. Per fare ciò, costruiremo un dot plot in base ai dati osservativi (xi , y i , i=1;n) in un sistema di coordinate rettangolare (tale dot plot è chiamato campo di correlazione). Proviamo a trovare una retta più vicina ai punti del campo di correlazione. Secondo il metodo dei minimi quadrati, la retta viene scelta in modo che la somma delle distanze verticali al quadrato tra i punti del campo di correlazione e questa retta sia minima.

Notazione matematica di questo problema: .
I valori di y i e x i =1...n ci sono noti, questi sono dati osservativi. Nella funzione S sono costanti. Le variabili in questa funzione sono le stime richieste dei parametri - , . Per trovare il minimo di una funzione di 2 variabili, è necessario calcolare le derivate parziali di questa funzione rispetto a ciascuno dei parametri ed eguagliarle a zero, cioè .
Di conseguenza, otteniamo un sistema di 2 equazioni lineari normali:
Risolvendo questo sistema, troviamo le stime dei parametri richiesti:

La correttezza del calcolo dei parametri dell'equazione di regressione può essere verificata confrontando le somme (è possibile una discrepanza dovuta agli arrotondamenti dei calcoli).
Per calcolare le stime dei parametri, è possibile creare la tabella 1.
Il segno del coefficiente di regressione b indica la direzione della relazione (se b > 0 la relazione è diretta, se b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Formalmente, il valore del parametro a è il valore medio di y per x uguale a zero. Se il fattore segno non ha e non può avere un valore zero, l'interpretazione sopra del parametro a non ha senso.

Valutazione della tenuta della relazione tra le caratteristiche viene effettuata utilizzando il coefficiente di correlazione lineare di coppia -r x,y. Può essere calcolato utilizzando la formula: . Inoltre, il coefficiente di correlazione lineare della coppia può essere determinato in termini di coefficiente di regressione b: .
L'intervallo di valori consentiti del coefficiente lineare di correlazione di coppia va da –1 a +1. Il segno del coefficiente di correlazione indica la direzione della relazione. Se r x, y >0, allora la connessione è diretta; se r x, y<0, то связь обратная.
Se questo coefficiente è vicino all'unità in modulo, allora la relazione tra le caratteristiche può essere interpretata come una relazione lineare abbastanza stretta. Se il suo modulo è uguale a uno ê r x , y ê =1, allora la relazione tra le caratteristiche è funzionale lineare. Se le caratteristiche xey sono linearmente indipendenti, allora r x,y è prossimo a 0.
La tabella 1 può essere utilizzata anche per calcolare r x,y.

Tabella 1

N osservazioni	x io	si io	x io ∙ y io
1	x 1	si 1	x 1 e 1
2	x 2	y2	x 2 e 2
...
n	x n	si n	x n y n
Somma colonna	∑x	∑y	∑x y
Significare

Per valutare la qualità dell'equazione di regressione risultante, viene calcolato il coefficiente di determinazione teorico - R 2 yx:

,
dove d 2 è la varianza y spiegata dall'equazione di regressione;
e 2 - varianza residua (non spiegata dall'equazione di regressione) y ;
s 2 y - varianza totale (totale) y .
Il coefficiente di determinazione caratterizza la quota di variazione (dispersione) della caratteristica risultante y, spiegata dalla regressione (e, di conseguenza, dal fattore x), nella variazione totale (dispersione) y. Il coefficiente di determinazione R 2 yx assume valori da 0 a 1. Di conseguenza, il valore 1-R 2 yx caratterizza la proporzione di varianza y causata dall'influenza di altri fattori non presi in considerazione nel modello e dagli errori di specifica.
Con regressione lineare accoppiata R 2 yx =r 2 yx .

Che trova la più ampia applicazione in vari campi della scienza e della pratica. Può essere fisica, chimica, biologia, economia, sociologia, psicologia e così via. Per volontà del destino, ho spesso a che fare con l'economia, e quindi oggi ti organizzerò un biglietto per un paese fantastico chiamato Econometria=) … Come fai a non volerlo?! È molto buono - devi solo decidere! ...Ma quello che probabilmente vuoi sicuramente è imparare a risolvere i problemi minimi quadrati. E soprattutto i lettori diligenti impareranno a risolverli non solo in modo accurato, ma anche MOLTO VELOCE ;-) Ma prima affermazione generale del problema+ esempio correlato:

Lascia che gli indicatori siano studiati in alcune aree tematiche che hanno un'espressione quantitativa. Allo stesso tempo, ci sono tutte le ragioni per credere che l'indicatore dipenda dall'indicatore. Questa ipotesi può essere sia un'ipotesi scientifica che basata sul buon senso elementare. Lasciamo da parte la scienza, tuttavia, ed esploriamo aree più appetitose, vale a dire i negozi di alimentari. Denota con:

– spazio commerciale di un negozio di alimentari, mq,
- fatturato annuo di un negozio di alimentari, milioni di rubli.

È abbastanza chiaro che maggiore è l'area del negozio, maggiore è il suo fatturato nella maggior parte dei casi.

Supponiamo che dopo aver condotto osservazioni/esperimenti/calcoli/ballando con un tamburello, abbiamo a nostra disposizione dati numerici:

Con i negozi di alimentari, penso che tutto sia chiaro: - questa è l'area del 1° negozio, - il suo fatturato annuo, - l'area del 2° negozio, - il suo fatturato annuo, ecc. A proposito, non è affatto necessario avere accesso a materiali classificati: è possibile ottenere una valutazione abbastanza accurata del fatturato utilizzando statistica matematica. Tuttavia, non distrarti, il corso di spionaggio commerciale è già pagato =)

I dati tabulari possono anche essere scritti sotto forma di punti e rappresentati nel modo consueto per noi. sistema cartesiano .

Rispondiamo a una domanda importante: quanti punti sono necessari per uno studio qualitativo?

Piu 'grande e', meglio 'e. Il set minimo consentito è composto da 5-6 punti. Inoltre, con una piccola quantità di dati, i risultati "anormali" non possono essere inclusi nel campione. Quindi, ad esempio, un piccolo negozio d'élite può aiutare gli ordini di grandezza più dei "loro colleghi", distorcendo così lo schema generale che deve essere trovato!

Se è abbastanza semplice, dobbiamo scegliere una funzione, orario che passa il più vicino possibile ai punti . Tale funzione viene chiamata approssimativo (approssimazione - approssimazione) o funzione teorica . In generale, qui appare immediatamente un ovvio "pretendente": un polinomio di alto grado, il cui grafico passa per TUTTI i punti. Ma questa opzione è complicata e spesso semplicemente errata. (perché il grafico si "avvolgerà" continuamente e rifletterà male la tendenza principale).

Pertanto, la funzione desiderata deve essere sufficientemente semplice e allo stesso tempo riflettere adeguatamente la dipendenza. Come puoi immaginare, viene chiamato uno dei metodi per trovare tali funzioni minimi quadrati. Innanzitutto, analizziamo la sua essenza in modo generale. Lascia che qualche funzione approssimi i dati sperimentali:


Come valutare l'accuratezza di questa approssimazione? Calcoliamo anche le differenze (deviazioni) tra i valori sperimentali e funzionali (studiamo il disegno). Il primo pensiero che viene in mente è di stimare quanto è grande la somma, ma il problema è che le differenze possono essere negative. (Per esempio, ) e le deviazioni a seguito di tale somma si annulleranno a vicenda. Pertanto, come stima dell'accuratezza dell'approssimazione, si suggerisce di prendere la somma moduli deviazioni:

o in forma piegata: (all'improvviso, chi non lo sa: - questa è l'icona della somma, e - la variabile ausiliaria - "contatore", che assume valori da 1 a ).

Approssimando i punti sperimentali con diverse funzioni, otterremo diversi valori di , ed è ovvio che dove questa somma è minore, quella funzione è più precisa.

Tale metodo esiste e viene chiamato metodo del modulo minimo. Tuttavia, in pratica è diventato molto più diffuso. metodo dei minimi quadrati, in cui eventuali valori negativi vengono eliminati non dal modulo, ma dalla quadratura degli scostamenti:

, dopo di che gli sforzi sono diretti alla selezione di una funzione tale che la somma delle deviazioni al quadrato era il più piccolo possibile. In realtà, da qui il nome del metodo.

E ora torniamo a un altro punto importante: come notato sopra, la funzione selezionata dovrebbe essere abbastanza semplice, ma ci sono anche molte di queste funzioni: lineare , iperbolico, esponenziale, logaritmico, quadratico eccetera. E, naturalmente, qui vorrei subito "ridurre il campo di attività". Quale classe di funzioni scegliere per la ricerca? Tecnica primitiva ma efficace:

- Il modo più semplice per disegnare punti sul disegno e analizzarne la posizione. Se tendono ad essere in linea retta, allora dovresti cercare equazione di linea retta con valori ottimali e . In altre parole, il compito è trovare TALI coefficienti, in modo che la somma delle deviazioni al quadrato sia la più piccola.

Se i punti si trovano, ad esempio, lungo iperbole, allora è chiaro che la funzione lineare darà una scarsa approssimazione. In questo caso, stiamo cercando i coefficienti più "favorevoli" per l'equazione dell'iperbole - quelli che danno la somma minima dei quadrati .

Ora notate che in entrambi i casi stiamo parlando funzioni di due variabili, i cui argomenti sono opzioni di dipendenza cercate:

E in sostanza, dobbiamo risolvere un problema standard: trovare minimo di una funzione di due variabili.

Ricordiamo dal nostro esempio: supponiamo che i punti "negozio" tendano a trovarsi in linea retta e ci siano tutte le ragioni per ritenere la presenza relazione lineare fatturato dell'area commerciale. Troviamo TALI coefficienti "a" e "be" in modo che la somma delle deviazioni al quadrato era il più piccolo. Tutto come al solito - prima derivate parziali del 1° ordine. Secondo regola di linearità puoi differenziare proprio sotto l'icona della somma:

Se vuoi utilizzare queste informazioni per un saggio o un corso, ti sarò molto grato per il collegamento nell'elenco delle fonti, non troverai calcoli così dettagliati da nessuna parte:

Facciamo un sistema standard:

Riduciamo ogni equazione di un "due" e, inoltre, "dividiamo" le somme:

Nota : analizza in modo indipendente il motivo per cui "a" e "be" possono essere rimossi dall'icona della somma. A proposito, formalmente questo può essere fatto con la somma

Riscriviamo il sistema in una forma "applicata":

dopo di che inizia a disegnare l'algoritmo per risolvere il nostro problema:

Conosciamo le coordinate dei punti? Sappiamo. Somme possiamo trovare? Facilmente. Componiamo il più semplice sistema di due equazioni lineari con due incognite("a" e "beh"). Risolviamo il sistema, ad esempio Il metodo di Cramer, risultando in un punto stazionario. Controllo condizione sufficiente per un estremo, possiamo verificare che a questo punto la funzione raggiunge con precisione minimo. La verifica è associata a calcoli aggiuntivi e quindi la lasceremo dietro le quinte. (se necessario è possibile visualizzare la cornice mancante). Traiamo la conclusione finale:

Funzione il modo migliore (almeno rispetto a qualsiasi altra funzione lineare) approssima punti sperimentali . In parole povere, il suo grafico passa il più vicino possibile a questi punti. Nella tradizione econometria viene anche chiamata la funzione di approssimazione risultante equazione di regressione lineare accoppiata .

Il problema in esame è di grande importanza pratica. Nella situazione con il nostro esempio, l'equazione permette di prevedere che tipo di fatturato ("yig") sarà al negozio con l'uno o l'altro valore dell'area di vendita (l'uno o l'altro significato di "x"). Sì, la previsione risultante sarà solo una previsione, ma in molti casi risulterà essere abbastanza accurata.

Analizzerò solo un problema con i numeri "reali", poiché non ci sono difficoltà: tutti i calcoli sono a livello del curriculum scolastico nei gradi 7-8. Nel 95% dei casi, ti verrà chiesto di trovare solo una funzione lineare, ma alla fine dell'articolo mostrerò che non è più difficile trovare le equazioni per l'iperbole ottimale, l'esponente e alcune altre funzioni.

In effetti, resta da distribuire le chicche promesse, in modo da imparare a risolvere tali esempi non solo in modo accurato, ma anche rapido. Studiamo attentamente lo standard:

Un compito

Come risultato dello studio della relazione tra due indicatori, sono state ottenute le seguenti coppie di numeri:

Usando il metodo dei minimi quadrati, trova la funzione lineare che meglio approssima l'empirico (esperto) dati. Fare un disegno su cui, in un sistema di coordinate rettangolari cartesiane, tracciare punti sperimentali e un grafico della funzione di approssimazione . Trova la somma delle deviazioni al quadrato tra valori empirici e teorici. Scopri se la funzione sarà migliore (in termini di metodo dei minimi quadrati) punti sperimentali approssimativi.

Si noti che i valori "x" sono valori naturali, e questo ha un significato significativo caratteristico, di cui parlerò poco dopo; ma, ovviamente, possono essere frazionari. Inoltre, a seconda del contenuto di una particolare attività, entrambi i valori "X" e "G" possono essere completamente o parzialmente negativi. Bene, ci è stato affidato un compito "senza volto" e lo iniziamo soluzione:

Troviamo i coefficienti della funzione ottima come soluzione del sistema:

Ai fini di una notazione più compatta, la variabile “counter” può essere omessa, poiché è già chiaro che la somma si effettua da 1 a .

È più conveniente calcolare gli importi richiesti in forma tabellare:


I calcoli possono essere eseguiti su un microcalcolatore, ma è molto meglio usare Excel, sia più veloce che senza errori; guarda un breve video:

Quindi, otteniamo quanto segue sistema:

Qui puoi moltiplicare la seconda equazione per 3 e sottrarre la 2a dalla 1a equazione termine per termine. Ma questa è fortuna: in pratica, i sistemi spesso non sono dotati e in questi casi si salva Il metodo di Cramer:
, quindi il sistema ha una soluzione unica.

Facciamo un controllo. Capisco che non voglio, ma perché saltare gli errori dove non puoi assolutamente perderli? Sostituisci la soluzione trovata nel lato sinistro di ciascuna equazione del sistema:

Si ottengono le parti giuste delle equazioni corrispondenti, il che significa che il sistema è risolto correttamente.

Pertanto, la funzione di approssimazione desiderata: – da tutte le funzioni lineari i dati sperimentali sono meglio approssimati da esso.

A differenza di dritto dipendenza del fatturato del negozio dalla sua area, la dipendenza trovata è inversione (principio "più - meno"), e questo fatto è subito rivelato dal negativo coefficiente angolare. Funzione ci informa che con un aumento di un determinato indicatore di 1 unità, il valore dell'indicatore dipendente diminuisce media di 0,65 unità. Come si suol dire, maggiore è il prezzo del grano saraceno, meno venduto.

Per tracciare la funzione di approssimazione, troviamo due dei suoi valori:

ed eseguire il disegno:


Viene chiamata la linea costruita linea di tendenza (vale a dire, una linea di tendenza lineare, ovvero nel caso generale una tendenza non è necessariamente una linea retta). Tutti conoscono l'espressione "essere di tendenza", e penso che questo termine non abbia bisogno di ulteriori commenti.

Calcola la somma delle deviazioni al quadrato tra valori empirici e teorici. Geometricamente, questa è la somma dei quadrati delle lunghezze dei segmenti "cremisi". (due dei quali sono così piccoli che non puoi nemmeno vederli).

Riassumiamo i calcoli in una tabella:


Possono essere ancora eseguiti manualmente, nel caso in cui fornirò un esempio per il 1° punto:

ma è molto più efficiente fare nel modo già noto:

Ripetiamo: qual è il significato del risultato? Da tutte le funzioni lineari alla funzione l'esponente è il più piccolo, cioè nella sua famiglia è la migliore approssimazione. E qui, tra l'altro, l'ultima domanda del problema non è casuale: e se la funzione esponenziale proposta sarà meglio approssimare i punti sperimentali?

Troviamo la somma corrispondente delle deviazioni al quadrato: per distinguerle, le designerò con la lettera "epsilon". La tecnica è esattamente la stessa:


E ancora per ogni calcolo del fuoco per il 1° punto:

In Excel, utilizziamo la funzione standard SCAD (La sintassi può essere trovata nella Guida di Excel).

Conclusione: , quindi la funzione esponenziale approssima i punti sperimentali peggio della retta .

Ma va notato qui che "peggio" è non significa ancora, che c'è. Ora ho costruito un grafico di questa funzione esponenziale e passa anche vicino ai punti - tanto che senza uno studio analitico è difficile dire quale funzione sia più precisa.

Questo completa la soluzione e torno alla questione dei valori naturali dell'argomento. In vari studi, di regola, economici o sociologici, mesi, anni o altri intervalli di tempo uguali sono numerati con "X" naturale. Si consideri, ad esempio, un problema del genere.

Metodo dei minimi quadrati (OLS, eng. Ordinary Least Squares, OLS)- un metodo matematico utilizzato per risolvere vari problemi, basato sulla minimizzazione della somma delle deviazioni al quadrato di alcune funzioni dalle variabili desiderate. Può essere utilizzato per "risolvere" sistemi di equazioni sovradeterminati (quando il numero di equazioni supera il numero di incognite), per trovare una soluzione nel caso di sistemi di equazioni non lineari ordinari (non sovradeterminati), per approssimare i valori dei punti di qualche funzione. L'OLS è uno dei metodi di base dell'analisi di regressione per la stima di parametri sconosciuti dei modelli di regressione da dati campione.

YouTube enciclopedico

1 / 5

✪ Metodo dei minimi quadrati. Argomento

✪ Minimi quadrati, lezione 1/2. Funzione lineare

✪ Econometria. Lezione 5. Metodo dei minimi quadrati

✪ Mitin I. V. - Elaborazione dei risultati del fisico. esperimento - Metodo dei minimi quadrati (Lezione 4)

✪ Econometria: l'essenza del metodo dei minimi quadrati #2

Sottotitoli

Storia

Fino all'inizio del XIX secolo. gli scienziati non avevano determinate regole per risolvere un sistema di equazioni in cui il numero di incognite è inferiore al numero di equazioni; Fino a quel momento si usavano metodi particolari, a seconda del tipo di equazioni e dell'ingegnosità dei calcolatori, e quindi calcolatori differenti, partendo dagli stessi dati osservativi, arrivavano a conclusioni differenti. Gauss (1795) è accreditato della prima applicazione del metodo e Legendre (1805) lo scoprì e lo pubblicò indipendentemente con il suo nome moderno (fr. Metodo dei moindres quarres). Laplace collegò il metodo con la teoria delle probabilità e il matematico americano Adrain (1808) ne considerò le applicazioni probabilistiche. Il metodo è diffuso e migliorato da ulteriori ricerche di Encke, Bessel, Hansen e altri.

L'essenza del metodo dei minimi quadrati

Permettere x (\ displaystyle x)- corredo n (\ displaystyle n) variabili sconosciute (parametri), f io (x) (\ displaystyle f_ (i) (x)), , m > n (\ displaystyle m> n)- insieme di funzioni da questo insieme di variabili. Il problema è scegliere tali valori x (\ displaystyle x) in modo che i valori di queste funzioni siano il più vicino possibile ad alcuni valori y io (\ displaystyle y_ (i)). In sostanza, si tratta della “soluzione” del sistema di equazioni sovradeterminato f io (x) = y io (\ displaystyle f_ (i) (x) = y_ (i)), io = 1 , ... , m (\ displaystyle i = 1, \ lpunti, m) nel senso indicato, la massima vicinanza delle parti sinistra e destra dell'impianto. L'essenza di LSM è scegliere come "misura di prossimità" la somma delle deviazioni al quadrato delle parti sinistra e destra | f io (x) − y io | (\ displaystyle |f_(i)(x)-y_(i)|). Pertanto, l'essenza del LSM può essere espressa come segue:

∑ io e io 2 = ∑ io (y io - f io (x)) 2 → min x (\ displaystyle \ sum _(i) e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\freccia destra \min _(x)).

Se il sistema di equazioni ha una soluzione, il minimo della somma dei quadrati sarà uguale a zero e le soluzioni esatte del sistema di equazioni possono essere trovate analiticamente o, ad esempio, con vari metodi di ottimizzazione numerica. Se il sistema è sovradeterminato, cioè, in parole povere, il numero di equazioni indipendenti è maggiore del numero di variabili sconosciute, allora il sistema non ha una soluzione esatta e il metodo dei minimi quadrati ci permette di trovare qualche vettore "ottimale" x (\ displaystyle x) nel senso della massima vicinanza dei vettori y (\ displaystyle y) e f (x) (\ displaystyle f (x)) o la massima prossimità del vettore di deviazione e (\ displaystyle e) a zero (la prossimità è intesa nel senso di distanza euclidea).

Esempio - sistema di equazioni lineari

In particolare, il metodo dei minimi quadrati può essere utilizzato per "risolvere" il sistema di equazioni lineari

A x = b (\ displaystyle Ax = b),

dove A (\ displaystyle A) matrice di dimensioni rettangolari m × n , m > n (\ displaystyle m \ volte n, m> n)(cioè il numero di righe della matrice A è maggiore del numero di variabili richieste).

Un tale sistema di equazioni generalmente non ha soluzione. Pertanto, questo sistema può essere "risolto" solo nel senso di scegliere un tale vettore x (\ displaystyle x) per ridurre al minimo la "distanza" tra i vettori A x (\ displaystyle Ax) e b (\ displaystyle b). Per fare ciò, puoi applicare il criterio di minimizzazione della somma delle differenze al quadrato delle parti sinistra e destra delle equazioni del sistema, ovvero (A x - b) T (A x - b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min). È facile dimostrare che la soluzione di questo problema di minimizzazione porta alla soluzione del seguente sistema di equazioni

A T A x = A T b ⇒ x = (A T A) - 1 A T b (\ displaystyle A ^ (T) Ax = A ^ (T) b \ Freccia destra x = (A ^ (T) A) ^ (-1) A ^ (T)b).

OLS nell'analisi di regressione (approssimazione dei dati)

Lascia che ci sia n (\ displaystyle n) valori di qualche variabile y (\ displaystyle y)(questo può essere il risultato di osservazioni, esperimenti, ecc.) e le variabili corrispondenti x (\ displaystyle x). La sfida è fare il rapporto tra y (\ displaystyle y) e x (\ displaystyle x) approssimato da qualche funzione nota fino ad alcuni parametri sconosciuti b (\ displaystyle b), ovvero trovare effettivamente i valori migliori dei parametri b (\ displaystyle b), approssimando al massimo i valori f (x , b) (\ displaystyle f (x, b)) ai valori effettivi y (\ displaystyle y). Ciò si riduce infatti al caso di "soluzione" di un sistema di equazioni sovradeterminato rispetto a b (\ displaystyle b):

F (x t , b) = y t , t = 1 , ... , n (\ displaystyle f (x_(t), b) = y_(t), t=1, \ ldots, n).

Nell'analisi di regressione, e in particolare in econometria, vengono utilizzati modelli probabilistici della relazione tra variabili.

Y t = f (x t , b) + ε t (\ displaystyle y_ (t) = f (x_ (t), b) + \ varepsilon _ (t)),

dove ε t (\ displaystyle \ varepsilon _ (t))- così chiamato errori casuali Modelli.

Di conseguenza, le deviazioni dei valori osservati y (\ displaystyle y) dal modello f (x , b) (\ displaystyle f (x, b)) già assunto nel modello stesso. L'essenza di LSM (ordinario, classico) è trovare tali parametri b (\ displaystyle b), in cui la somma delle deviazioni al quadrato (errori, per i modelli di regressione sono spesso chiamati residui di regressione) e t (\ displaystyle e_ (t)) sarà minimo:

b ^ O L S = arg ⁡ min b R S S (b) (\ displaystyle (\ cappello (b)) _ (OLS) = \ arg \ min _ (b) RSS (b)),

dove RS S (\ displaystyle RSS)- Inglese. La somma residua dei quadrati è definita come:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t - f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\somma _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Nel caso generale, questo problema può essere risolto con metodi numerici di ottimizzazione (minimizzazione). In questo caso se ne parla minimi quadrati non lineari(NLS o NLLS - ing. Minimi quadrati non lineari). In molti casi è possibile ottenere una soluzione analitica. Per risolvere il problema di minimizzazione, è necessario trovare i punti stazionari della funzione RS S (b) (\ displaystyle RSS (b)), differenziandolo rispetto a parametri sconosciuti b (\ displaystyle b), uguagliando le derivate a zero e risolvendo il sistema di equazioni risultante:

∑ t = 1 n (y t - f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\ displaystyle \ somma _ (t = 1) ^ (n) (y_ (t) -f (x_ (t),b))(\frac (\parziale f(x_(t),b))(\parziale b))=0).

LSM nel caso di regressione lineare

Sia lineare la dipendenza dalla regressione:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\ displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Permettere yè il vettore colonna delle osservazioni della variabile spiegata, e X (\ displaystyle X)- questo è (n × k) (\ displaystyle ((n \ volte k)))- matrice delle osservazioni dei fattori (righe della matrice - vettori dei valori dei fattori in una data osservazione, per colonne - vettore dei valori di un dato fattore in tutte le osservazioni). La rappresentazione matriciale del modello lineare ha la forma:

y = Xb + ε (\ displaystyle y = Xb + \ varepsilon ).

Allora il vettore delle stime della variabile spiegata e il vettore dei residui di regressione saranno uguali a

y ^ = X b , e = y - y ^ = y - X b (\ displaystyle (\ cappello (y)) = Xb, \ quad e = y-(\ cappello (y)) = y-Xb).

di conseguenza, la somma dei quadrati dei residui di regressione sarà uguale a

R S S = e T e = (y - X b) T (y - X b) (\ displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Differenziare questa funzione rispetto al vettore dei parametri b (\ displaystyle b) e uguagliando le derivate a zero, otteniamo un sistema di equazioni (in forma matriciale):

(X T X) b = X T y (\ displaystyle (X ^ (T) X) b = X ^ (T) y).

Nella forma della matrice decifrata, questo sistema di equazioni si presenta così:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 x ∑ x 2 ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3… ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y x t ∑ 3 y t ⋮ ∑ x t k y t), (\ displayStyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ sum x_(t2)x_(tk) \\\somma x_(t3)x_(t1)&\somma x_(t3)x_(t2)&\somma x_(t3)^(2)&\lpunti &\somma x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vpunti \\\somma x_(tk)y_(t)\\\end(pmatrix))) dove tutte le somme vengono prese su tutti i valori ammissibili t (\ displaystyle t).

Se una costante è inclusa nel modello (come al solito), allora x t 1 = 1 (\ displaystyle x_(t1)=1) per tutti t (\ displaystyle t), quindi, nell'angolo in alto a sinistra della matrice del sistema di equazioni c'è il numero di osservazioni n (\ displaystyle n), e nei restanti elementi della prima riga e prima colonna - solo la somma dei valori delle variabili: ∑ x t j (\ displaystyle \ somma x_ (tj)) e il primo elemento del lato destro del sistema - ∑ y t (\ displaystyle \ somma y_ (t)).

La soluzione di questo sistema di equazioni fornisce la formula generale per le stime dei minimi quadrati per il modello lineare:

b ^ O L S = (X T X) - 1 X T y = (1 n X T X) - 1 1 n X T y = V x - 1 C x y (\ displaystyle (\ cappello (b)) _ (OLS) = (X ^ (T )X)^(-1)X^(T)y=\sinistra((\frac (1)(n))X^(T)X\destra)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

A fini analitici risulta utile l'ultima rappresentazione di questa formula (nel sistema di equazioni, quando divise per n, al posto delle somme compaiono le medie aritmetiche). Se i dati nel modello di regressione centrato, quindi in questa rappresentazione la prima matrice ha il significato di matrice di covarianza campionaria di fattori, e la seconda è il vettore di covarianze di fattori con variabile dipendente. Se, inoltre, i dati sono anche normalizzato allo SKO (cioè, in definitiva standardizzato), quindi la prima matrice ha il significato della matrice di correlazione campionaria dei fattori, il secondo vettore - il vettore delle correlazioni campionarie dei fattori con la variabile dipendente.

Un'importante proprietà delle stime LLS per i modelli con una costante- la retta della regressione costruita passa per il baricentro dei dati campionari, ovvero l'uguaglianza è soddisfatta:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j X ¯ j (\ displaystyle (\ bar (y)) = (\ cappello (b_(1))) + \ sum _ (j = 2) ^ (k) (\cappello (b))_(j)(\bar (x))_(j)).

In particolare, nel caso estremo, quando l'unico regressore è una costante, troviamo che la stima OLS di un singolo parametro (la costante stessa) è uguale al valore medio della variabile spiegata. Cioè, la media aritmetica, nota per le sue buone proprietà dalle leggi dei grandi numeri, è anche una stima dei minimi quadrati: soddisfa il criterio per la somma minima delle deviazioni al quadrato da essa.

I casi speciali più semplici

Nel caso della regressione lineare a coppie y t = un + b x t + ε t (\ displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), quando viene stimata la dipendenza lineare di una variabile da un'altra, le formule di calcolo vengono semplificate (si può fare a meno dell'algebra matriciale). Il sistema di equazioni ha la forma:

(1 x ¯ x ¯ x 2 ¯) (un b) = (y ¯ x y ¯) (\ displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).

Da qui è facile trovare stime per i coefficienti:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = X y ¯ - X ¯ y ¯ X 2 ¯ - X ¯ 2 , un ^ = y ¯ - b X ¯ . (\ displaystyle (\begin (casi) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x))))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

Nonostante nel caso generale siano preferibili modelli con una costante, in alcuni casi è noto da considerazioni teoriche che la costante un (\ displaystyle a) dovrebbe essere uguale a zero. Ad esempio, in fisica, la relazione tra tensione e corrente ha la forma U = I ⋅ R (\ displaystyle U = I \ cpunto R); misurando tensione e corrente, è necessario stimare la resistenza. In questo caso si tratta di un modello y = b x (\ displaystyle y = bx). In questo caso, invece di un sistema di equazioni, abbiamo un'unica equazione

(∑ x t 2) b = ∑ x t y t (\ displaystyle \ sinistra (\ somma x_(t) ^ (2) \ destra) b = \ somma x_ (t) y_ (t)).

Pertanto, la formula per stimare un singolo coefficiente ha la forma

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Il caso di un modello polinomiale

Se i dati sono adattati da una funzione di regressione polinomiale di una variabile f (x) = b 0 + ∑ io = 1 k b io x io (\ displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), quindi, percepire i gradi x io (\ displaystyle x ^ (i)) come fattori indipendenti per ciascuno io (\ displaystyle i)è possibile stimare i parametri del modello in base alla formula generale per la stima dei parametri del modello lineare. Per fare ciò, è sufficiente tenere conto nella formula generale che con una tale interpretazione x t io x t j = x t io x t j = x t io + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) e x t j y t = x t j y t (\ displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Pertanto, le equazioni matriciali in questo caso assumeranno la forma:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x t 2 ... ∑ n x t k + 1 ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t 2 k) [b 0 b 1 ⋮ b k] = [∑ n y t ∑ n x t y t ⋮ n x t k y t ] . (\ displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ sum \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrice)).)

Proprietà statistiche delle stime OLS

Innanzitutto, notiamo che per i modelli lineari, le stime dei minimi quadrati sono stime lineari, come segue dalla formula precedente. Per le stime OLS non distorte, è necessario e sufficiente soddisfare la condizione più importante dell'analisi di regressione: condizionata ai fattori, l'aspettativa matematica di un errore casuale deve essere uguale a zero. Tale condizione è soddisfatta, in particolare, se

1. l'aspettativa matematica di errori casuali è zero, e
2. i fattori e gli errori casuali sono valori indipendenti casuali .

La seconda condizione - la condizione dei fattori esogeni - è fondamentale. Se questa proprietà non è soddisfatta, allora possiamo presumere che quasi tutte le stime saranno estremamente insoddisfacenti: non saranno nemmeno coerenti (ovvero, anche una quantità molto grande di dati non consente di ottenere stime qualitative in questo caso). Nel caso classico, si fa un'ipotesi più forte sul determinismo dei fattori, in contrasto con un errore casuale, il che significa automaticamente che la condizione di esogeneità è soddisfatta. Nel caso generale, per la coerenza delle stime, è sufficiente soddisfare la condizione di esogeneità unitamente alla convergenza della matrice V x (\ displaystyle V_ (x)) a una matrice non degenerata quando la dimensione del campione aumenta all'infinito.

Affinché, oltre alla coerenza e all'imparzialità, le (solite) stime LSM siano anche efficaci (le migliori nella classe delle stime imparziali lineari), devono essere soddisfatte ulteriori proprietà di un errore casuale:

Queste ipotesi possono essere formulate per la matrice di covarianza del vettore degli errori casuali V (ε) = σ 2 io (\ displaystyle V (\ varepsilon) = \ sigma ^ (2) I).

Viene chiamato un modello lineare che soddisfa queste condizioni classico. Gli stimatori dei minimi quadrati per la regressione lineare classica sono imparziali, coerenti e gli stimatori più efficienti nella classe di tutti gli stimatori lineari imparziali (l'abbreviazione blu (Miglior stimatore lineare imparziale) è la migliore stima lineare imparziale; nella letteratura domestica viene citato più spesso il teorema di Gauss - Markov). Come è facile mostrare, la matrice di covarianza del vettore delle stime dei coefficienti sarà uguale a:

V (b ^ O L S) = σ 2 (X T X) - 1 (\ displaystyle V ((\ cappello (b)) _ (OLS)) = \ sigma ^ (2) (X ^ (T) X) ^ (-1 )).

Efficienza significa che questa matrice di covarianza è "minima" (qualsiasi combinazione lineare di coefficienti, e in particolare i coefficienti stessi, ha una varianza minima), ovvero, nella classe delle stime imparziali lineari, le stime OLS sono le migliori. Gli elementi diagonali di questa matrice - le varianze delle stime dei coefficienti - sono parametri importanti della qualità delle stime ottenute. Tuttavia, non è possibile calcolare la matrice di covarianza perché la varianza dell'errore casuale è sconosciuta. Si può dimostrare che la stima imparziale e coerente (per il modello lineare classico) della varianza degli errori casuali è il valore:

S 2 = R S S / (n - k) (\ displaystyle s ^ (2) = RSS / (n k)).

Sostituendo questo valore nella formula della matrice di covarianza, otteniamo una stima della matrice di covarianza. Anche le stime risultanti sono imparziali e coerenti. È anche importante che la stima della varianza dell'errore (e quindi le varianze dei coefficienti) e le stime dei parametri del modello siano variabili casuali indipendenti, il che consente di ottenere statistiche di test per testare ipotesi sui coefficienti del modello.

Va notato che se le ipotesi classiche non sono soddisfatte, le stime dei parametri dei minimi quadrati non sono le più efficienti e, dove W (\ displaystyle W)è una matrice di peso definita positiva simmetrica. I minimi quadrati ordinari sono un caso speciale di questo approccio, quando la matrice di peso è proporzionale alla matrice di identità. Come è noto, per matrici (o operatori) simmetriche c'è una scomposizione W = P T P (\ displaystyle W = P ^ (T) P). Pertanto, questo funzionale può essere rappresentato come segue e T P T P e = (P e) T P e = e ∗ T e ∗ (\ displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), cioè questo funzionale può essere rappresentato come la somma dei quadrati di alcuni "residui" trasformati. Pertanto, possiamo distinguere una classe di metodi dei minimi quadrati - metodi LS (Least Squares).

È stato dimostrato (teorema di Aitken) che per un modello di regressione lineare generalizzata (in cui non sono imposte restrizioni alla matrice di covarianza degli errori casuali), le più efficaci (nella classe delle stime imparziali lineari) sono le stime del cosiddetto . OLS generalizzato (OMNK, GLS - Minimi quadrati generalizzati)- Metodo LS con matrice di peso uguale alla matrice di covarianza inversa degli errori casuali: W = V ε - 1 (\ displaystyle W = V_ (\ varepsilon )^ (-1)).

Si può dimostrare che la formula per le stime GLS dei parametri del modello lineare ha la forma

B ^ G L S = (X T V - 1 X) - 1 X T V - 1 y (\ displaystyle (\ cappello (b)) _ (GLS) = (X ^ (T) V ^ (-1) X) ^ (-1) X^(T)V^(-1)y).

La matrice di covarianza di queste stime, rispettivamente, sarà uguale a

V (b ^ G L S) = (X T V - 1 X) - 1 (\ displaystyle V ((\ cappello (b)) _ (GLS)) = (X ^ (T) V ^ (-1) X) ^ (- uno)).

Infatti, l'essenza dell'OLS sta in una certa trasformazione (lineare) (P) dei dati originali e nell'applicazione dei soliti minimi quadrati ai dati trasformati. Lo scopo di questa trasformazione è che per i dati trasformati, gli errori casuali soddisfano già le ipotesi classiche.

Minimi quadrati ponderati

Nel caso di una matrice di peso diagonale (e quindi della matrice di covarianza degli errori casuali), abbiamo i cosiddetti minimi quadrati pesati (WLS - Weighted Least Squares). In questo caso, la somma pesata dei quadrati dei residui del modello è minimizzata, ovvero ogni osservazione riceve un “peso” che è inversamente proporzionale alla varianza dell'errore casuale in questa osservazione: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). Infatti, i dati vengono trasformati ponderando le osservazioni (dividendo per un importo proporzionale alla deviazione standard ipotizzata degli errori casuali) e ai dati ponderati vengono applicati i minimi quadrati normali.

ISBN 978-5-7749-0473-0.

Econometria. Libro di testo / Ed. Eliseeva I. I. - 2a ed. - M.: Finanza e statistica, 2006. - 576 p. - ISBN 5-279-02786-3.

Alexandrova N.V. Storia dei termini matematici, concetti, designazioni: un dizionario-libro di consultazione. - 3a ed. - M.: LKI, 2008. - 248 p. - ISBN 978-5-382-00839-4. IV Mitin, Rusakov V.S. Analisi ed elaborazione dei dati sperimentali - 5a edizione - 24p.

Approssimiamo la funzione con un polinomio di 2° grado. Per fare ciò, calcoliamo i coefficienti del normale sistema di equazioni:

, ,

Componiamo un normale sistema di minimi quadrati, che ha la forma:

La soluzione del sistema è facilmente trovabile:, , .

Si trova quindi il polinomio di 2° grado: .

Background teorico

Torna a pagina<Введение в вычислительную математику. Примеры>

Esempio 2. Trovare il grado ottimo di un polinomio.

Torna a pagina<Введение в вычислительную математику. Примеры>

Esempio 3. Derivazione di un normale sistema di equazioni per trovare i parametri di una dipendenza empirica.

Desumiamo un sistema di equazioni per determinare i coefficienti e le funzioni , che esegue l'approssimazione della radice quadrata della funzione data rispetto ai punti. Componi una funzione e scrivi la condizione estrema necessaria per esso:

Quindi il sistema normale assumerà la forma:

Abbiamo ottenuto un sistema lineare di equazioni per parametri sconosciuti e facilmente risolvibile.

Background teorico

Torna a pagina<Введение в вычислительную математику. Примеры>

Esempio.

Dati sperimentali sui valori delle variabili X e a sono riportati nella tabella.

Come risultato del loro allineamento, la funzione

Usando metodo dei minimi quadrati, approssima questi dati con una dipendenza lineare y=ascia+b(trova opzioni un e b). Scopri quale delle due linee è migliore (nel senso del metodo dei minimi quadrati) allinea i dati sperimentali. Fai un disegno.

L'essenza del metodo dei minimi quadrati (LSM).

Il problema è trovare i coefficienti di dipendenza lineare per i quali la funzione di due variabili un e bassume il valore più piccolo. Cioè, dati i dati un e b la somma delle deviazioni al quadrato dei dati sperimentali dalla retta trovata sarà la più piccola. Questo è il punto centrale del metodo dei minimi quadrati.

Pertanto, la soluzione dell'esempio si riduce a trovare l'estremo di una funzione di due variabili.

Derivazione di formule per il calcolo dei coefficienti.

Viene compilato e risolto un sistema di due equazioni con due incognite. Trovare derivate parziali di funzioni per variabili un e b, uguagliamo queste derivate a zero.

Risolviamo il sistema di equazioni risultante con qualsiasi metodo (ad esempio metodo di sostituzione o il metodo di Cramer) e ottenere formule per trovare i coefficienti utilizzando il metodo dei minimi quadrati (LSM).

Con i dati un e b funzione assume il valore più piccolo. La prova di questo fatto è data di seguito nel testo a fine pagina.

Questo è l'intero metodo dei minimi quadrati. Formula per trovare il parametro un contiene le somme , , , e il parametro nè la quantità di dati sperimentali. Si consiglia di calcolare separatamente i valori di queste somme.

Coefficiente b trovato dopo il calcolo un.

È tempo di ricordare l'esempio originale.

Soluzione.

Nel nostro esempio n=5. Compiliamo la tabella per comodità di calcolare gli importi che sono inclusi nelle formule dei coefficienti richiesti.

I valori della quarta riga della tabella si ottengono moltiplicando i valori della 2a riga per i valori della 3a riga per ogni numero io.

I valori della quinta riga della tabella si ottengono quadrando i valori della 2a riga per ogni numero io.

I valori dell'ultima colonna della tabella sono le somme dei valori nelle righe.

Usiamo le formule del metodo dei minimi quadrati per trovare i coefficienti un e b. Sostituiamo in essi i valori corrispondenti dall'ultima colonna della tabella:

Di conseguenza, y=0,165x+2,184è la retta approssimata desiderata.

Resta da scoprire quale delle linee y=0,165x+2,184 o approssima meglio i dati originali, ovvero per effettuare una stima utilizzando il metodo dei minimi quadrati.

Stima dell'errore del metodo dei minimi quadrati.

Per fare ciò, è necessario calcolare la somma delle deviazioni quadrate dei dati originali da queste linee e , un valore più piccolo corrisponde a una linea che approssima meglio i dati originali in termini di metodo dei minimi quadrati.

Dal , quindi la linea y=0,165x+2,184 approssima meglio i dati originali.

Illustrazione grafica del metodo dei minimi quadrati (LSM).

Tutto sembra fantastico nelle classifiche. La linea rossa è la linea trovata y=0,165x+2,184, la linea blu è , i punti rosa sono i dati originali.

A cosa serve, a cosa servono tutte queste approssimazioni?

Personalmente lo utilizzo per risolvere problemi di smoothing dei dati, problemi di interpolazione ed estrapolazione (nell'esempio originale, ti potrebbe essere chiesto di trovare il valore del valore osservato y a x=3 o quando x=6 secondo il metodo MNC). Ma di questo parleremo più avanti in un'altra sezione del sito.

Inizio pagina

Prova.

In modo che quando trovato un e b funzione assume il valore più piccolo, è necessario che a questo punto la matrice della forma quadratica del differenziale del secondo ordine per la funzione era positivo definitivo. Mostriamolo.

Il differenziale del secondo ordine ha la forma:

Questo è

Pertanto, la matrice della forma quadratica ha la forma

e i valori degli elementi non dipendono un e b.

Dimostriamo che la matrice è definita positiva. Ciò richiede che gli angoli minori siano positivi.

Angolare minore di primo ordine . La disuguaglianza è rigorosa, poiché i punti non coincidono. Ciò sarà implicito in quanto segue.

Angolare minore di secondo ordine

Dimostriamolo metodo di induzione matematica.

Conclusione: valori trovati un e b corrispondono al valore più piccolo della funzione , pertanto, sono i parametri desiderati per il metodo dei minimi quadrati.

Non hai tempo per capirlo?
Ordina una soluzione

Inizio pagina

Sviluppo di una previsione con il metodo dei minimi quadrati. Esempio di soluzione del problema

Estrapolazione — questo è un metodo di ricerca scientifica, che si basa sulla diffusione di tendenze, modelli, relazioni passate e presenti con lo sviluppo futuro dell'oggetto di previsione. I metodi di estrapolazione includono metodo della media mobile, metodo di smoothing esponenziale, metodo dei minimi quadrati.

Essenza metodo dei minimi quadrati consiste nel minimizzare la somma delle deviazioni quadrate tra i valori osservati e calcolati. I valori calcolati si trovano in base all'equazione selezionata: l'equazione di regressione. Minore è la distanza tra i valori effettivi e quelli calcolati, più accurata sarà la previsione basata sull'equazione di regressione.

L'analisi teorica dell'essenza del fenomeno in esame, il cui cambiamento è rappresentato da una serie temporale, funge da base per la scelta di una curva. A volte vengono prese in considerazione considerazioni sulla natura della crescita dei livelli delle serie. Quindi, se la crescita della produzione è prevista in una progressione aritmetica, lo smoothing viene eseguito in linea retta. Se risulta che la crescita è esponenziale, il livellamento dovrebbe essere eseguito in base alla funzione esponenziale.

La formula di lavoro del metodo dei minimi quadrati : Y t+1 = a*X + b, dove t + 1 è il periodo di previsione; Уt+1 – indicatore previsto; aeb sono coefficienti; X è un simbolo del tempo.

I coefficienti a e b sono calcolati secondo le seguenti formule:

dove, Uf - i valori effettivi della serie di dinamiche; n è il numero di livelli nella serie storica;

Il livellamento delle serie temporali con il metodo dei minimi quadrati serve a riflettere i modelli di sviluppo del fenomeno in esame. Nell'espressione analitica di una tendenza, il tempo è considerato una variabile indipendente ei livelli della serie agiscono in funzione di questa variabile indipendente.

Lo sviluppo di un fenomeno non dipende da quanti anni sono trascorsi dal punto di partenza, ma da quali fattori ne hanno influenzato lo sviluppo, in quale direzione e con quale intensità. Da ciò risulta chiaro che lo sviluppo di un fenomeno nel tempo appare come risultato dell'azione di questi fattori.

Impostando correttamente il tipo di curva, il tipo di dipendenza analitica dal tempo è uno dei compiti più difficili dell'analisi predittiva. .

La scelta del tipo di funzione che descrive l'andamento, i cui parametri sono determinati con il metodo dei minimi quadrati, è nella maggior parte dei casi empirica, costruendo più funzioni e confrontandole tra loro in funzione del valore della radice -errore quadratico medio, calcolato con la formula:

dove Uf - i valori effettivi della serie di dinamiche; Ur – valori calcolati (smussati) delle serie temporali; n è il numero di livelli nella serie storica; p è il numero di parametri definiti nelle formule che descrivono l'andamento (andamento dello sviluppo).

Svantaggi del metodo dei minimi quadrati :

• quando si tenta di descrivere il fenomeno economico in esame utilizzando un'equazione matematica, la previsione sarà accurata per un breve periodo di tempo e l'equazione di regressione dovrebbe essere ricalcolata non appena saranno disponibili nuove informazioni;
• la complessità della selezione dell'equazione di regressione, che è risolvibile utilizzando programmi per computer standard.

Un esempio di utilizzo del metodo dei minimi quadrati per sviluppare una previsione

Un compito . Ci sono dati che caratterizzano il livello di disoccupazione nella regione, %

• Costruire una previsione del tasso di disoccupazione nella regione per i mesi di novembre, dicembre, gennaio, utilizzando i metodi: media mobile, smoothing esponenziale, minimi quadrati.
• Calcolare gli errori nelle previsioni risultanti utilizzando ciascun metodo.
• Confronta i risultati ottenuti, trai conclusioni.

Soluzione dei minimi quadrati

Per la soluzione, compileremo una tabella in cui faremo i calcoli necessari:

ε = 28,63/10 = 2,86% accuratezza delle previsioni alto.

Conclusione : Confrontando i risultati ottenuti nei calcoli metodo della media mobile , livellamento esponenziale e il metodo dei minimi quadrati, possiamo dire che l'errore relativo medio nei calcoli con il metodo di smoothing esponenziale rientra nel 20-50%. Ciò significa che l'accuratezza della previsione in questo caso è solo soddisfacente.

Nel primo e nel terzo caso, l'accuratezza della previsione è elevata, poiché l'errore relativo medio è inferiore al 10%. Ma il metodo della media mobile ha permesso di ottenere risultati più affidabili (previsione per novembre - 1,52%, previsione per dicembre - 1,53%, previsione per gennaio - 1,49%), poiché l'errore relativo medio quando si utilizza questo metodo è il più piccolo - 1 ,13%.

Metodo dei minimi quadrati

Altri articoli correlati:

Elenco delle fonti utilizzate

1. Raccomandazioni scientifiche e metodologiche sui problemi della diagnosi dei rischi sociali e della previsione di sfide, minacce e conseguenze sociali. Università Sociale Statale Russa. Mosca. 2010;
2. Vladimirova L.P. Previsione e pianificazione a condizioni di mercato: Proc. indennità. M.: Casa editrice "Dashkov and Co", 2001;
3. Novikova N.V., Pozdeeva O.G. Previsione dell'economia nazionale: guida didattica e metodologica. Ekaterinburg: casa editrice Ural. stato. economia università, 2007;
4. Slutskin L.N. Corso MBA in Business Forecasting. Mosca: Alpina Business Books, 2006.

Programma MNE

Inserisci i dati

Dati e approssimazione y = a + b x

io- numero del punto sperimentale;
x io- il valore del parametro fisso nel punto io;
si io- il valore del parametro misurato nel punto io;
ω io- misurazione del peso al punto io;
si io, calc.- la differenza tra il valore misurato e il valore calcolato dalla regressione y al punto io;
S x i (x i)- stima dell'errore x io durante la misurazione y al punto io.

Dati e approssimazione y = k x

io	x io	si io	ω io	si io, calc.	Sì io	S x i (x i)

Fare clic sul grafico

Manuale utente del programma online MNC.

Nel campo dati, inserisci su ogni riga separata i valori di `x` e `y` in un punto sperimentale. I valori devono essere separati da spazi bianchi (spazio o tabulazione).

Il terzo valore può essere il peso in punti di `w`. Se il peso in punti non è specificato, è uguale a uno. Nella stragrande maggioranza dei casi, i pesi dei punti sperimentali sono sconosciuti o non calcolati; tutti i dati sperimentali sono considerati equivalenti. A volte i pesi nell'intervallo di valori studiato non sono sicuramente equivalenti e possono essere calcolati anche teoricamente. Ad esempio, in spettrofotometria, i pesi possono essere calcolati utilizzando semplici formule, anche se praticamente tutti trascurano questo per ridurre i costi di manodopera.

I dati possono essere incollati negli appunti da un foglio di calcolo della suite per ufficio, come Excel di Microsoft Office o Calc di Open Office. Per fare ciò, nel foglio di calcolo, seleziona l'intervallo di dati da copiare, copia negli appunti e incolla i dati nel campo dati in questa pagina.

Per calcolare con il metodo dei minimi quadrati, sono necessari almeno due punti per determinare due coefficienti `b` - la tangente dell'angolo di inclinazione della retta e `a` - il valore tagliato dalla retta sulla `y ` asse.

Per stimare l'errore dei coefficienti di regressione calcolati, è necessario impostare il numero di punti sperimentali a più di due.

Metodo dei minimi quadrati (LSM).

Maggiore è il numero di punti sperimentali, più accurata è la stima statistica dei coefficienti (a causa della diminuzione del coefficiente di Student) e più vicina la stima alla stima del campione generale.

L'ottenimento di valori in ogni punto sperimentale è spesso associato a costi di manodopera significativi, pertanto viene spesso eseguito un numero di esperimenti compromesso, che fornisce una stima digeribile e non comporta costi di manodopera eccessivi. Di norma, il numero di punti sperimentali per una dipendenza lineare dai minimi quadrati con due coefficienti viene scelto nella regione di 5-7 punti.

Una breve teoria dei minimi quadrati per la dipendenza lineare

Supponiamo di avere un insieme di dati sperimentali sotto forma di coppie di valori [`y_i`, `x_i`], dove `i` è il numero di una misura sperimentale da 1 a `n`; `y_i` - il valore del valore misurato nel punto `i`; `x_i` - il valore del parametro che abbiamo impostato nel punto `i`.

Un esempio è il funzionamento della legge di Ohm. Modificando la tensione (differenza potenziale) tra le sezioni del circuito elettrico, misuriamo la quantità di corrente che passa attraverso questa sezione. La fisica ci fornisce la dipendenza trovata sperimentalmente:

`I=U/R`,
dove `I` - forza attuale; `R` - resistenza; `U` - tensione.

In questo caso, `y_i` è il valore della corrente misurata e `x_i` è il valore della tensione.

Come altro esempio, si consideri l'assorbimento della luce da parte di una soluzione di una sostanza in soluzione. La chimica ci dà la formula:

`A = εl C`,
dove `A` è la densità ottica della soluzione; `ε` - trasmittanza soluto; `l` - lunghezza del percorso quando la luce passa attraverso una cuvetta con una soluzione; `C` è la concentrazione del soluto.

In questo caso, `y_i` è la densità ottica misurata `A` e `x_i` è la concentrazione della sostanza che abbiamo impostato.

Considereremo il caso in cui l'errore relativo nell'impostazione di `x_i` è molto inferiore all'errore relativo nella misurazione di `y_i`. Assumeremo anche che tutti i valori misurati di `y_i` siano casuali e normalmente distribuiti, cioè obbedire alla normale legge di distribuzione.

Nel caso di una dipendenza lineare di `y` da `x`, possiamo scrivere la dipendenza teorica:
`y = a + bx`.

Da un punto di vista geometrico, il coefficiente `b` denota la tangente dell'angolo di inclinazione della linea all'asse `x`, e il coefficiente `a` - il valore di `y` nel punto di intersezione della linea con l'asse `y` (con `x = 0`).

Trovare i parametri della retta di regressione.

In un esperimento, i valori misurati di `y_i` non possono trovarsi esattamente sulla linea teorica a causa di errori di misurazione, che sono sempre inerenti alla vita reale. Pertanto, un'equazione lineare deve essere rappresentata da un sistema di equazioni:
`y_i = a + b x_i + ε_i` (1),
dove `ε_i` è l'errore di misura sconosciuto di `y` nel `i`esimo esperimento.

Viene anche chiamata dipendenza (1). regressione, cioè. la dipendenza delle due grandezze l'una dall'altra con significatività statistica.

Il compito di ripristinare la dipendenza è trovare i coefficienti `a` e `b` dai punti sperimentali [`y_i`, `x_i`].

Per trovare i coefficienti si usa solitamente `a` e `b` metodo dei minimi quadrati(MNK). È un caso speciale del principio di massima verosimiglianza.

Riscriviamo (1) come `ε_i = y_i - a - b x_i`.

Quindi sarà la somma degli errori al quadrato
`Φ = somma_(i=1)^(n) ε_i^2 = somma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Il principio del metodo dei minimi quadrati è di minimizzare la somma (2) rispetto ai parametri `a` e `b`.

Il minimo si raggiunge quando le derivate parziali della somma (2) rispetto ai coefficienti `a` e `b` sono uguali a zero:
`frac(parziale Φ)(parziale a) = frac(somma parziale_(i=1)^(n) (y_i - a - b x_i)^2)(a parziale) = 0`
`frac(parziale Φ)(parziale b) = frac(somma parziale_(i=1)^(n) (y_i - a - b x_i)^2)(parziale b) = 0`

Espandendo le derivate, otteniamo un sistema di due equazioni con due incognite:
`somma_(i=1)^(n) (2a + 2bx_i - 2y_i) = somma_(i=1)^(n) (a + bx_i - y_i) = 0`
`somma_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = somma_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Apriamo le parentesi e trasferiamo le somme indipendenti dai coefficienti desiderati nell'altra metà, otteniamo un sistema di equazioni lineari:
`somma_(i=1)^(n) y_i = a n + b somma_(i=1)^(n) bx_i`
`somma_(i=1)^(n) x_iy_i = una somma_(i=1)^(n) x_i + b somma_(i=1)^(n) x_i^2`

Risolvendo il sistema risultante, troviamo le formule per i coefficienti `a` e `b`:

`a = frac(somma_(i=1)^(n) y_i somma_(i=1)^(n) x_i^2 - somma_(i=1)^(n) x_i somma_(i=1)^(n ) x_iy_i) (n somma_(i=1)^(n) x_i^2 — (somma_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n somma_(i=1)^(n) x_iy_i - somma_(i=1)^(n) x_i somma_(i=1)^(n) y_i) (n somma_(i=1)^ (n) x_i^2 - (somma_(i=1)^(n) x_i)^2)` (3.2)

Queste formule hanno soluzioni quando `n > 1` (la linea può essere tracciata utilizzando almeno 2 punti) e quando il determinante `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, cioè quando i punti `x_i` nell'esperimento sono diversi (cioè quando la linea non è verticale).

Stima degli errori nei coefficienti della retta di regressione

Per una stima più accurata dell'errore nel calcolo dei coefficienti `a` e `b`, è auspicabile un gran numero di punti sperimentali. Quando `n = 2`, è impossibile stimare l'errore dei coefficienti, perché la linea di approssimazione passerà in modo univoco per due punti.

Viene determinato l'errore della variabile casuale `V` legge sull'accumulo degli errori
`S_V^2 = somma_(i=1)^p (frac(f parziale)(z_i parziale))^2 S_(z_i)^2`,
dove `p` è il numero di parametri `z_i` con errore `S_(z_i)` che influiscono sull'errore `S_V`;
`f` è una funzione di dipendenza di `V` su `z_i`.

Scriviamo la legge di accumulazione degli errori per l'errore dei coefficienti `a` e `b`
`S_a^2 = sum_(i=1)^(n)(frac(a parziale)(y_i parziale))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(a parziale )(x_i parziale))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(a parziale)(y_i parziale))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(parziale b)(parziale y_i))^2 S_(y_i)^2 + somma_(i=1)^(n)(frac(parziale b )(x_i parziale))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(b parziale)(y_i parziale))^2 `,
perché `S_(x_i)^2 = 0` (in precedenza abbiamo fatto una prenotazione che l'errore di `x` è trascurabile).

`S_y^2 = S_(y_i)^2` - l'errore (varianza, deviazione standard al quadrato) nella dimensione `y`, supponendo che l'errore sia uniforme per tutti i valori `y`.

Sostituendo le formule per il calcolo di `a` e `b` nelle espressioni risultanti, otteniamo

`S_a^2 = S_y^2 frac(somma_(i=1)^(n) (somma_(i=1)^(n) x_i^2 - x_i somma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n somma_(i=1)^(n) x_i^2 - (somma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

Nella maggior parte degli esperimenti reali, il valore di 'Sy' non viene misurato. Per fare ciò, è necessario eseguire più misurazioni parallele (esperimenti) in uno o più punti del piano, il che aumenta il tempo (ed eventualmente il costo) dell'esperimento. Pertanto, di solito si presume che la deviazione di 'y' dalla retta di regressione possa essere considerata casuale. La stima della varianza `y` in questo caso è calcolata dalla formula.

`S_y^2 = S_(y, resto)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Il divisore `n-2` appare perché abbiamo ridotto il numero di gradi di libertà dovuto al calcolo di due coefficienti per lo stesso campione di dati sperimentali.

Questa stima è anche chiamata varianza residua relativa alla retta di regressione `S_(y, resto)^2`.

La valutazione della significatività dei coefficienti viene effettuata secondo il criterio dello Studente

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Se i criteri calcolati `t_a`, `t_b` sono inferiori ai criteri della tabella `t(P, n-2)`, allora si considera che il coefficiente corrispondente non è significativamente diverso da zero con una data probabilità `P`.

Per valutare la qualità della descrizione di una relazione lineare, puoi confrontare `S_(y, resto)^2` e `S_(bar y)` rispetto alla media usando il criterio di Fisher.

`S_(barra y) = frac(somma_(i=1)^n (y_i - barra y)^2) (n-1) = frac(somma_(i=1)^n (y_i - (somma_(i= 1)^n y_i) /n)^2) (n-1)` - stima campionaria della varianza di `y` rispetto alla media.

Per valutare l'efficacia dell'equazione di regressione per descrivere la dipendenza, viene calcolato il coefficiente di Fisher
`F = S_(barra y) / S_(y, riposo)^2`,
che viene confrontato con il coefficiente tabulare di Fisher `F(p, n-1, n-2)`.

Se `F > F(P, n-1, n-2)`, la differenza tra la descrizione della dipendenza `y = f(x)` usando l'equazione di regressione e la descrizione usando la media è considerata statisticamente significativa con probabilità `P`. Quelli. la regressione descrive la dipendenza meglio della diffusione di 'y' attorno alla media.

Fare clic sul grafico
per aggiungere valori alla tabella

Metodo dei minimi quadrati. Il metodo dei minimi quadrati significa la determinazione di parametri sconosciuti a, b, c, la dipendenza funzionale accettata

Il metodo dei minimi quadrati significa la determinazione di parametri sconosciuti a, b, c,… dipendenza funzionale accettata

y = f(x,a,b,c,…),

che fornirebbe un minimo del quadrato medio (varianza) dell'errore

, (24)

dove x i , y i - insieme di coppie di numeri ottenute dall'esperimento.

Poiché la condizione per l'estremo di una funzione a più variabili è la condizione che le sue derivate parziali siano uguali a zero, allora i parametri a, b, c,… sono determinati dal sistema di equazioni:

; ; ; … (25)

Va ricordato che il metodo dei minimi quadrati viene utilizzato per selezionare i parametri dopo la forma della funzione y = f(x) definito.

Se da considerazioni teoriche è impossibile trarre conclusioni su quale dovrebbe essere la formula empirica, allora bisogna essere guidati da rappresentazioni visive, principalmente da una rappresentazione grafica dei dati osservati.

In pratica, il più delle volte limitato ai seguenti tipi di funzioni:

1) lineare ;

2) quadratico a .