Ha molte applicazioni, in quanto consente una rappresentazione approssimativa di una data funzione con altre più semplici. LSM può essere estremamente utile nell'elaborazione delle osservazioni e viene utilizzato attivamente per stimare alcune quantità dai risultati di misurazioni di altre contenenti errori casuali. In questo articolo imparerai come implementare i calcoli dei minimi quadrati in Excel.

Espressione del problema su un esempio specifico

Supponiamo che ci siano due indicatori X e Y. Inoltre, Y dipende da X. Poiché OLS ci interessa dal punto di vista dell'analisi di regressione (in Excel, i suoi metodi sono implementati utilizzando funzioni integrate), dovremmo immediatamente procedere considerare un problema specifico.

Quindi, sia X l'area di vendita di un negozio di alimentari, misurata in metri quadrati, e Y sia il fatturato annuo, definito in milioni di rubli.

È necessario fare una previsione del fatturato (Y) che avrà il negozio se ha uno o un altro spazio di vendita. Ovviamente la funzione Y = f (X) è crescente, poiché l'ipermercato vende più merce della bancarella.

Qualche parola sulla correttezza dei dati iniziali utilizzati per la previsione

Supponiamo di avere una tabella creata con i dati per n negozi.

Secondo la statistica matematica, i risultati saranno più o meno corretti se vengono esaminati i dati su almeno 5-6 oggetti. Inoltre, non è possibile utilizzare risultati "anomali". In particolare, una piccola boutique d'élite può avere un fatturato molte volte superiore a quello dei grandi outlet della classe “masmarket”.

L'essenza del metodo

I dati della tabella possono essere visualizzati sul piano cartesiano come punti M 1 (x 1, y 1), ... M n (x n, y n). Ora la soluzione del problema si riduce alla selezione di una funzione di approssimazione y = f (x), che ha un grafico passante il più vicino possibile ai punti M 1, M 2, .. M n .

Certo, puoi usare un polinomio di alto grado, ma questa opzione non è solo difficile da implementare, ma semplicemente errata, poiché non rifletterà la tendenza principale che deve essere rilevata. La soluzione più ragionevole è cercare una retta y = ax + b, che approssima al meglio i dati sperimentali e, più precisamente, i coefficienti - a e b.

Punteggio di precisione

Per ogni approssimazione, la valutazione della sua accuratezza è di particolare importanza. Indichiamo con e i la differenza (deviazione) tra i valori funzionali e sperimentali per il punto x i , cioè e i = y i - f (x i).

Ovviamente per valutare l'accuratezza dell'approssimazione si può utilizzare la somma degli scostamenti, ovvero quando si sceglie una retta per una rappresentazione approssimativa della dipendenza di X da Y, si dovrebbe dare la preferenza a quella che ha il valore più piccolo di la somma ei in tutti i punti presi in considerazione. Tuttavia, non tutto è così semplice, poiché insieme alle deviazioni positive ce ne saranno praticamente di negative.

Puoi risolvere il problema usando i moduli di deviazione o i loro quadrati. Quest'ultimo metodo è il più utilizzato. Viene utilizzato in molte aree, inclusa l'analisi di regressione (in Excel, la sua implementazione viene eseguita utilizzando due funzioni integrate) e da tempo si è dimostrato efficace.

Metodo dei minimi quadrati

In Excel, come sai, è presente una funzione di somma automatica incorporata che ti consente di calcolare i valori di tutti i valori situati nell'intervallo selezionato. Quindi nulla ci impedirà di calcolare il valore dell'espressione (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

In notazione matematica, questo è simile a:

Poiché inizialmente è stata presa la decisione di approssimare utilizzando una retta, abbiamo:

Pertanto, il compito di trovare una retta che meglio descriva una specifica relazione tra X e Y equivale a calcolare il minimo di una funzione di due variabili:

Ciò richiede l'uguaglianza di derivate parziali zero rispetto alle nuove variabili aeb e la risoluzione di un sistema primitivo costituito da due equazioni con 2 incognite della forma:

Dopo semplici trasformazioni, inclusa la divisione per 2 e la manipolazione delle somme, otteniamo:

Risolvendolo, ad esempio, con il metodo di Cramer, otteniamo un punto stazionario con determinati coefficienti a * e b * . Questo è il minimo, cioè per prevedere quale fatturato avrà il negozio per una determinata area, è adatta la retta y = a * x + b *, che è un modello di regressione per l'esempio in questione. Certo, non ti permetterà di trovare il risultato esatto, ma ti aiuterà a farti un'idea se l'acquisto di un negozio a credito per una determinata area ripagherà.

Come implementare il metodo dei minimi quadrati in Excel

Excel ha una funzione per calcolare il valore dei minimi quadrati. Ha la forma seguente: TREND (valori Y noti; valori X noti; nuovi valori X; costante). Applichiamo la formula per il calcolo dell'OLS in Excel alla nostra tabella.

Per fare ciò, nella cella in cui deve essere visualizzato il risultato del calcolo con il metodo dei minimi quadrati in Excel, inserire il segno “=” e selezionare la funzione “TENDENZA”. Nella finestra che si apre, compila gli appositi campi evidenziando:

• range di valori noti per Y (in questo caso dati per fatturato);
• intervallo x 1 , …x n , ovvero la dimensione dello spazio di vendita al dettaglio;
• e valori noti e sconosciuti di x, per i quali è necessario scoprire l'entità del fatturato (per informazioni sulla loro posizione nel foglio di lavoro, vedere sotto).

Inoltre, nella formula è presente una variabile logica "Const". Se inserisci 1 nel campo corrispondente, significa che è necessario eseguire i calcoli, supponendo che b \u003d 0.

Se hai bisogno di conoscere la previsione per più di un valore x, dopo aver inserito la formula, non dovresti premere "Invio", ma devi digitare la combinazione "Maiusc" + "Controllo" + "Invio" ("Invio" ) sulla tastiera.

Alcune caratteristiche

L'analisi di regressione può essere accessibile anche ai manichini. La formula di Excel per prevedere il valore di un array di variabili sconosciute - "TREND" - può essere utilizzata anche da coloro che non hanno mai sentito parlare del metodo dei minimi quadrati. Basta conoscere alcune caratteristiche del suo lavoro. In particolare:

• Se organizzi l'intervallo di valori noti della variabile y in una riga o colonna, ogni riga (colonna) con valori noti di x sarà percepita dal programma come una variabile separata.
• Se l'intervallo con x noto non è specificato nella finestra TENDENZA, nel caso di utilizzo della funzione in Excel, il programma lo considererà come un array composto da numeri interi, il cui numero corrisponde all'intervallo con i valori indicati ​della variabile y.
• Per emettere una matrice di valori "previsti", l'espressione di tendenza deve essere inserita come formula di matrice.
• Se non vengono specificati nuovi valori x, la funzione TREND li considera uguali a quelli noti. Se non sono specificati, l'array 1 viene preso come argomento; 2; 3; 4;…, che è commisurato all'intervallo con i parametri già dati y.
• L'intervallo contenente i nuovi valori x deve avere le stesse o più righe o colonne dell'intervallo con i valori y indicati. In altre parole, deve essere proporzionato alle variabili indipendenti.
• Un array con valori x noti può contenere più variabili. Tuttavia, se stiamo parlando di uno solo, è necessario che gli intervalli con i valori indicati di xey siano commisurati. Nel caso di più variabili, è necessario che l'intervallo con i valori y dati rientri in una colonna o in una riga.

funzione PREVISIONE

È implementato utilizzando diverse funzioni. Uno di questi si chiama "PREDIZIONE". È simile a TREND, ovvero fornisce il risultato di calcoli utilizzando il metodo dei minimi quadrati. Tuttavia, solo per una X, per la quale il valore di Y è sconosciuto.

Ora conosci le formule di Excel per i manichini che ti consentono di prevedere il valore del valore futuro di un indicatore secondo un andamento lineare.

L'approssimazione dei dati sperimentali è un metodo basato sulla sostituzione dei dati ottenuti sperimentalmente con una funzione analitica che più da vicino passa o coincide nei punti nodali con i valori iniziali (dati ottenuti durante l'esperimento o l'esperimento). Esistono attualmente due modi per definire una funzione analitica:

Costruendo un polinomio di interpolazione di n gradi che passa direttamente attraverso tutti i punti data matrice di dati. In questo caso, la funzione di approssimazione è rappresentata come: un polinomio di interpolazione nella forma di Lagrange o un polinomio di interpolazione nella forma di Newton.

Costruendo un polinomio approssimativo di n gradi che passa vicino ai punti dall'array di dati specificato. Pertanto, la funzione di approssimazione smussa tutti i rumori casuali (o errori) che possono verificarsi durante l'esperimento: i valori misurati durante l'esperimento dipendono da fattori casuali che fluttuano secondo le proprie leggi casuali (misurazioni o errori strumentali, imprecisioni o sperimentali errori). In questo caso, la funzione di approssimazione è determinata dal metodo dei minimi quadrati.

Metodo dei minimi quadrati(nella letteratura inglese Ordinary Least Squares, OLS) è un metodo matematico basato sulla definizione di una funzione di approssimazione, che è costruita nella più stretta vicinanza ai punti da una data matrice di dati sperimentali. La prossimità tra la funzione iniziale e quella di approssimazione F(x) è determinata da una misura numerica, ovvero: la somma delle deviazioni al quadrato dei dati sperimentali dalla curva di approssimazione F(x) deve essere la più piccola.

Curva di adattamento costruita con il metodo dei minimi quadrati

Viene utilizzato il metodo dei minimi quadrati:

Risolvere sistemi di equazioni sovradeterminati quando il numero di equazioni supera il numero di incognite;

Cercare una soluzione nel caso di sistemi di equazioni non lineari ordinari (non sovradeterminati);

Per approssimare i valori dei punti mediante una funzione di approssimazione.

La funzione di approssimazione con il metodo dei minimi quadrati è determinata dalla condizione della somma minima delle deviazioni quadrate della funzione di approssimazione calcolata da una data matrice di dati sperimentali. Questo criterio del metodo dei minimi quadrati è scritto come la seguente espressione:

Valori della funzione di approssimazione calcolata in punti nodali,

Matrice specificata di dati sperimentali in punti nodali.

Il criterio quadratico ha una serie di proprietà "buone", come la differenziabilità, fornendo una soluzione unica al problema di approssimazione con funzioni di approssimazione polinomiale.

A seconda delle condizioni del problema, la funzione di approssimazione è un polinomio di grado m

Il grado della funzione di approssimazione non dipende dal numero di punti nodali, ma la sua dimensione deve essere sempre inferiore alla dimensione (numero di punti) della matrice data di dati sperimentali.

∙ Se il grado della funzione di approssimazione è m=1, allora approssimiamo la funzione tabella con una retta (regressione lineare).

∙ Se il grado della funzione di approssimazione è m=2, allora approssimiamo la funzione tabellare con una parabola quadratica (approssimazione quadratica).

∙ Se il grado della funzione di approssimazione è m=3, allora approssimiamo la funzione tabellare con una parabola cubica (approssimazione cubica).

Nel caso generale, quando si vuole costruire un polinomio approssimativo di grado m per dati valori tabulari, la condizione per la somma minima delle deviazioni al quadrato su tutti i punti nodali si riscrive nella forma seguente:

- coefficienti incogniti del polinomio approssimativo di grado m;

Il numero di valori di tabella specificati.

Condizione necessaria per l'esistenza di un minimo di una funzione è l'uguaglianza a zero delle sue derivate parziali rispetto a variabili incognite . Di conseguenza, otteniamo il seguente sistema di equazioni:

Trasformiamo il sistema lineare di equazioni risultante: apriamo le parentesi e spostiamo i termini liberi sul lato destro dell'espressione. Di conseguenza, il sistema risultante di espressioni algebriche lineari sarà scritto nella forma seguente:

Questo sistema di espressioni algebriche lineari può essere riscritto in forma matriciale:

Di conseguenza, è stato ottenuto un sistema di equazioni lineari di dimensione m + 1, che consiste in m + 1 incognite. Questo sistema può essere risolto utilizzando qualsiasi metodo per la risoluzione di equazioni algebriche lineari (ad esempio il metodo di Gauss). Come risultato della soluzione, si troveranno parametri sconosciuti della funzione di approssimazione che forniscono la somma minima delle deviazioni al quadrato della funzione di approssimazione dai dati originali, cioè la migliore approssimazione quadratica possibile. Va ricordato che se cambia anche un solo valore dei dati iniziali, tutti i coefficienti cambieranno i loro valori, poiché sono completamente determinati dai dati iniziali.

Approssimazione dei dati iniziali per dipendenza lineare

(regressione lineare)

Ad esempio, si consideri il metodo per determinare la funzione di approssimazione, data come relazione lineare. Secondo il metodo dei minimi quadrati, la condizione per la somma minima delle deviazioni al quadrato è scritta come segue:

Coordinate dei punti nodali della tavola;

Coefficienti sconosciuti della funzione di approssimazione, che è data come relazione lineare.

Condizione necessaria per l'esistenza di un minimo di una funzione è l'uguaglianza a zero delle sue derivate parziali rispetto a variabili incognite. Di conseguenza, otteniamo il seguente sistema di equazioni:

Trasformiamo il sistema lineare di equazioni risultante.

Risolviamo il risultante sistema di equazioni lineari. I coefficienti della funzione di approssimazione nella forma analitica sono determinati come segue (metodo di Cramer):

Questi coefficienti forniscono la costruzione di una funzione di approssimazione lineare secondo il criterio per ridurre al minimo la somma dei quadrati della funzione di approssimazione da determinati valori tabulari (dati sperimentali).

Algoritmo per implementare il metodo dei minimi quadrati

1. Dati iniziali:

Data una matrice di dati sperimentali con il numero di misurazioni N

Viene fornito il grado del polinomio approssimativo (m).

2. Algoritmo di calcolo:

2.1. I coefficienti sono determinati per costruire un sistema di equazioni con dimensione

Coefficienti del sistema di equazioni (lato sinistro dell'equazione)

- indice del numero di colonna della matrice quadrata del sistema di equazioni

Membri liberi del sistema di equazioni lineari (lato destro dell'equazione)

- indice del numero di riga della matrice quadrata del sistema di equazioni

2.2. Formazione di un sistema di equazioni lineari con dimensione.

2.3. Soluzione di un sistema di equazioni lineari per determinare i coefficienti incogniti del polinomio approssimativo di grado m.

2.4 Determinazione della somma delle deviazioni al quadrato del polinomio approssimativo dai valori iniziali su tutti i punti nodali

Il valore trovato della somma delle deviazioni al quadrato è il minimo possibile.

Approssimazione con altre funzioni

Va notato che quando si approssimano i dati iniziali secondo il metodo dei minimi quadrati, una funzione logaritmica, una funzione esponenziale e una funzione di potenza vengono talvolta utilizzate come funzione di approssimazione.

Approssimazione logaritmica

Si consideri il caso in cui la funzione di approssimazione è data da una funzione logaritmica della forma:

Metodo dei minimi quadrati (OLS, eng. Ordinary Least Squares, OLS)- un metodo matematico utilizzato per risolvere vari problemi, basato sulla minimizzazione della somma delle deviazioni al quadrato di alcune funzioni dalle variabili desiderate. Può essere utilizzato per "risolvere" sistemi di equazioni sovradeterminati (quando il numero di equazioni supera il numero di incognite), per trovare una soluzione nel caso di sistemi di equazioni non lineari ordinari (non sovradeterminati), per approssimare i valori dei punti di qualche funzione. L'OLS è uno dei metodi di base dell'analisi di regressione per la stima di parametri sconosciuti dei modelli di regressione da dati campione.

YouTube enciclopedico

1 / 5

✪ Metodo dei minimi quadrati. Argomento

✪ Minimi quadrati, lezione 1/2. Funzione lineare

✪ Econometria. Lezione 5. Metodo dei minimi quadrati

✪ Mitin I. V. - Elaborazione dei risultati del fisico. esperimento - Metodo dei minimi quadrati (Lezione 4)

✪ Econometria: l'essenza del metodo dei minimi quadrati #2

Sottotitoli

Storia

Fino all'inizio del XIX secolo. gli scienziati non avevano determinate regole per risolvere un sistema di equazioni in cui il numero di incognite è inferiore al numero di equazioni; Fino a quel momento si utilizzavano metodi particolari, a seconda del tipo di equazioni e dell'ingegnosità dei calcolatori, e quindi calcolatori diversi, partendo dagli stessi dati osservativi, arrivavano a conclusioni diverse. Gauss (1795) è accreditato della prima applicazione del metodo e Legendre (1805) lo scoprì e lo pubblicò indipendentemente con il suo nome moderno (fr. Metodo dei moindres quarres). Laplace collegò il metodo con la teoria delle probabilità e il matematico americano Adrain (1808) ne considerò le applicazioni probabilistiche. Il metodo è diffuso e migliorato da ulteriori ricerche di Encke, Bessel, Hansen e altri.

L'essenza del metodo dei minimi quadrati

Lascia stare x (\ displaystyle x)- corredo n (\ displaystyle n) variabili sconosciute (parametri), f io (x) (\ displaystyle f_ (i) (x)), , m > n (\ displaystyle m> n)- insieme di funzioni da questo insieme di variabili. Il problema è scegliere tali valori x (\ displaystyle x) in modo che i valori di queste funzioni siano il più vicino possibile ad alcuni valori y io (\ displaystyle y_ (i)). In sostanza, si tratta della “soluzione” del sistema di equazioni sovradeterminato f io (x) = y io (\ displaystyle f_ (i) (x) = y_ (i)), io = 1 , ... , m (\ displaystyle i = 1, \ lpunti, m) nel senso indicato, la massima vicinanza delle parti sinistra e destra dell'impianto. L'essenza di LSM è scegliere come "misura di prossimità" la somma delle deviazioni al quadrato delle parti sinistra e destra | f io (x) − y io | (\ displaystyle |f_(i)(x)-y_(i)|). Pertanto, l'essenza del LSM può essere espressa come segue:

∑ iei 2 = ∑ io (yi - fi (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\freccia destra \min _(x)).

Se il sistema di equazioni ha una soluzione, il minimo della somma dei quadrati sarà uguale a zero e le soluzioni esatte del sistema di equazioni possono essere trovate analiticamente o, ad esempio, con vari metodi di ottimizzazione numerica. Se il sistema è sovradeterminato, cioè, in parole povere, il numero di equazioni indipendenti è maggiore del numero di variabili sconosciute, allora il sistema non ha una soluzione esatta e il metodo dei minimi quadrati ci consente di trovare un vettore "ottimale" x (\ displaystyle x) nel senso della massima vicinanza dei vettori y (\ displaystyle y) e f (x) (\ displaystyle f (x)) o la massima prossimità del vettore di deviazione e (\ displaystyle e) a zero (la prossimità è intesa nel senso di distanza euclidea).

Esempio - sistema di equazioni lineari

In particolare, il metodo dei minimi quadrati può essere utilizzato per "risolvere" il sistema di equazioni lineari

A x = b (\ displaystyle Ax = b),

dove A (\ displaystyle A) matrice di dimensioni rettangolari m × n , m > n (\ displaystyle m \ volte n, m> n)(cioè il numero di righe della matrice A è maggiore del numero di variabili richieste).

Un tale sistema di equazioni generalmente non ha soluzione. Pertanto, questo sistema può essere "risolto" solo nel senso di scegliere un tale vettore x (\ displaystyle x) per ridurre al minimo la "distanza" tra i vettori A x (\ displaystyle Ax) e b (\ displaystyle b). Per fare ciò, puoi applicare il criterio di minimizzazione della somma delle differenze al quadrato delle parti sinistra e destra delle equazioni del sistema, ovvero (A x - b) T (A x - b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min). È facile dimostrare che la soluzione di questo problema di minimizzazione porta alla soluzione del seguente sistema di equazioni

ATA x = AT b ⇒ x = (ATA) - 1 AT b (\ displaystyle A^(T)Ax=A^(T)b\Freccia destra x=(A^(T)A)^(-1)A^ (T)b).

OLS nell'analisi di regressione (approssimazione dei dati)

Lascia che ci sia n (\ displaystyle n) valori di qualche variabile y (\ displaystyle y)(questo può essere il risultato di osservazioni, esperimenti, ecc.) e le variabili corrispondenti x (\ displaystyle x). La sfida è fare il rapporto tra y (\ displaystyle y) e x (\ displaystyle x) approssimato da qualche funzione nota fino ad alcuni parametri sconosciuti b (\ displaystyle b), ovvero trovare effettivamente i valori migliori dei parametri b (\ displaystyle b), approssimando al massimo i valori f (x , b) (\ displaystyle f (x, b)) ai valori effettivi y (\ displaystyle y). Ciò si riduce infatti al caso di "soluzione" di un sistema di equazioni sovradeterminato rispetto a b (\ displaystyle b):

F (x t , b) = y t , t = 1 , ... , n (\ displaystyle f (x_(t), b) = y_(t), t=1, \ ldots, n).

Nell'analisi di regressione, e in particolare in econometria, vengono utilizzati modelli probabilistici della relazione tra variabili.

Y t = f (x t , b) + ε t (\ displaystyle y_ (t) = f (x_ (t), b) + \ varepsilon _ (t)),

dove ε t (\ displaystyle \ varepsilon _ (t))- così chiamato errori casuali Modelli.

Di conseguenza, le deviazioni dei valori osservati y (\ displaystyle y) dal modello f (x , b) (\ displaystyle f (x, b)) già assunto nel modello stesso. L'essenza di LSM (ordinario, classico) è trovare tali parametri b (\ displaystyle b), in cui la somma delle deviazioni al quadrato (errori, per i modelli di regressione sono spesso chiamati residui di regressione) e t (\ displaystyle e_ (t)) sarà minimo:

b ^ O L S = arg ⁡ min b R S S (b) (\ displaystyle (\ cappello (b)) _ (OLS) = \ arg \ min _ (b) RSS (b)),

dove RS S (\ displaystyle RSS)- Inglese. La somma residua dei quadrati è definita come:

RSS (b) = e T e = ∑ t = 1 netto 2 = ∑ t = 1 n (yt - f (xt , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\somma _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Nel caso generale, questo problema può essere risolto con metodi numerici di ottimizzazione (minimizzazione). In questo caso se ne parla minimi quadrati non lineari(NLS o NLLS - ing. Minimi quadrati non lineari). In molti casi è possibile ottenere una soluzione analitica. Per risolvere il problema di minimizzazione, è necessario trovare i punti stazionari della funzione RS S (b) (\ displaystyle RSS (b)), differenziandolo rispetto a parametri sconosciuti b (\ displaystyle b), uguagliando le derivate a zero e risolvendo il sistema di equazioni risultante:

∑ t = 1 n (yt - f (xt , b)) ∂ f (xt , b) ∂ b = 0 (\ displaystyle \ sum _ (t = 1) ^ (n) (y_(t) -f (x_ (t),b))(\frac (\parziale f(x_(t),b))(\parziale b))=0).

LSM nel caso di regressione lineare

Sia lineare la dipendenza dalla regressione:

yt = ∑ j = 1 kbjxtj + ε = xt T b + ε t (\ displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Lascia stare yè il vettore colonna delle osservazioni della variabile spiegata, e X (\ displaystyle X)- questo (n × k) (\ displaystyle ((n \ volte k)))- matrice delle osservazioni dei fattori (righe della matrice - vettori dei valori dei fattori in una data osservazione, per colonne - vettore dei valori di un dato fattore in tutte le osservazioni). La rappresentazione matriciale del modello lineare ha la forma:

y = Xb + ε (\ displaystyle y = Xb + \ varepsilon ).

Allora il vettore delle stime della variabile spiegata e il vettore dei residui di regressione saranno uguali a

y ^ = X b , e = y - y ^ = y - X b (\ displaystyle (\ cappello (y)) = Xb, \ quad e = y-(\ cappello (y)) = y-Xb).

di conseguenza, la somma dei quadrati dei residui di regressione sarà uguale a

R S S = e T e = (y - X b) T (y - X b) (\ displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Differenziare questa funzione rispetto al vettore dei parametri b (\ displaystyle b) e uguagliando le derivate a zero, otteniamo un sistema di equazioni (in forma matriciale):

(X T X) b = X T y (\ displaystyle (X ^ (T) X) b = X ^ (T) y).

Nella forma della matrice decifrata, questo sistema di equazioni si presenta così:

(∑ xt 1 2 ∑ xt 1 xt 2 ∑ xt 1 xt 3 … ∑ xt 1 xtk ∑ xt 2 xt 1 ∑ xt 2 2 ∑ xt 2 xt 3 … ∑ xt 2 xtk ∑ xt 3 xt 1 ∑ xt 3 xt 2 ∑ xt 3 2 … ∑ xt 3 xtk ⋮ ⋮ ⋮ ⋱ ⋮ ∑ xtkxt 1 ∑ xtkxt 2 ∑ xtkxt 3 … ∑ xtk 2) (b 1 b 2 b 3 ⋮ bk) = (∑ xt 1 yt ∑ xt 2 xt 3 ∑ yt ⋮ ∑ xtkyt) , (\ displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\somma x_(t1)x_(tk)\\\somma x_(t2)x_(t1)&\somma x_(t2)^(2)&\somma x_(t2)x_(t3)&\lpunti &\ somma x_(t2)x_(tk)\\\somma x_(t3)x_(t1)&\somma x_(t3)x_(t2)&\somma x_(t3)^(2)&\ldots &\somma x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \somma x_(t3)y_(t)\\\vdots \\\somma x_(tk)y_(t)\\\end(pmatrix))) dove tutte le somme vengono prese su tutti i valori ammissibili t (\ displaystyle t).

Se una costante è inclusa nel modello (come al solito), allora x t 1 = 1 (\ displaystyle x_(t1)=1) per tutti t (\ displaystyle t), quindi, nell'angolo in alto a sinistra della matrice del sistema di equazioni c'è il numero di osservazioni n (\ displaystyle n), e nei restanti elementi della prima riga e prima colonna - solo la somma dei valori delle variabili: ∑ x t j (\ displaystyle \ somma x_ (tj)) e il primo elemento del lato destro del sistema - ∑ y t (\ displaystyle \ somma y_ (t)).

La soluzione di questo sistema di equazioni fornisce la formula generale per le stime dei minimi quadrati per il modello lineare:

b ^ OLS = (XTX) - 1 XT y = (1 n XTX) - 1 1 n XT y = V x - 1 C xy (\ displaystyle (\ cappello (b)) _ (OLS) = (X ^ (T )X)^(-1)X^(T)y=\sinistra((\frac (1)(n))X^(T)X\destra)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

A fini analitici risulta utile l'ultima rappresentazione di questa formula (nel sistema di equazioni, quando divise per n, al posto delle somme compaiono le medie aritmetiche). Se i dati nel modello di regressione centrato, quindi in questa rappresentazione la prima matrice ha il significato di una matrice di covarianza campionaria di fattori, e la seconda è il vettore di covarianze di fattori con una variabile dipendente. Se, inoltre, i dati sono anche normalizzato allo SKO (cioè, in definitiva standardizzato), quindi la prima matrice ha il significato della matrice di correlazione campionaria dei fattori, il secondo vettore - il vettore delle correlazioni campionarie dei fattori con la variabile dipendente.

Un'importante proprietà delle stime LLS per i modelli con una costante- la retta della regressione costruita passa per il baricentro dei dati campionari, ovvero l'uguaglianza è soddisfatta:

y ¯ = b 1 ^ + ∑ j = 2 kb ^ jx ¯ j (\ displaystyle (\ bar (y)) = (\ cappello (b_ (1))) + \ sum _ (j = 2) ^ (k) (\cappello (b))_(j)(\bar (x))_(j)).

In particolare, nel caso estremo, quando l'unico regressore è una costante, troviamo che la stima OLS di un singolo parametro (la costante stessa) è uguale al valore medio della variabile spiegata. Cioè, la media aritmetica, nota per le sue buone proprietà dalle leggi dei grandi numeri, è anche una stima dei minimi quadrati: soddisfa il criterio per la somma minima delle deviazioni al quadrato da essa.

I casi speciali più semplici

Nel caso della regressione lineare a coppie y t = un + b x t + ε t (\ displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), quando viene stimata la dipendenza lineare di una variabile da un'altra, le formule di calcolo vengono semplificate (si può fare a meno dell'algebra matriciale). Il sistema di equazioni ha la forma:

(1 x ¯ x ¯ x 2 ¯) (ab) = (y ¯ xy ¯) (\ displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).

Da qui è facile trovare stime per i coefficienti:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = xy ¯ - X ¯ y ¯ X 2 ¯ - X ¯ 2 , un ^ = y ¯ - bx ¯ . (\ displaystyle (\begin (casi) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x))))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

Nonostante il fatto che, in generale, siano preferibili modelli con una costante, in alcuni casi è noto da considerazioni teoriche che la costante un (\ displaystyle a) dovrebbe essere uguale a zero. Ad esempio, in fisica, la relazione tra tensione e corrente ha la forma U = I ⋅ R (\ displaystyle U = I \ cpunto R); misurando tensione e corrente, è necessario stimare la resistenza. In questo caso si tratta di un modello y = b x (\ displaystyle y = bx). In questo caso, invece di un sistema di equazioni, abbiamo un'unica equazione

(∑ x t 2) b = ∑ x t y t (\ displaystyle \ sinistra (\ somma x_(t) ^ (2) \ destra) b = \ somma x_ (t) y_ (t)).

Pertanto, la formula per stimare un singolo coefficiente ha la forma

B ^ = ∑ t = 1 nxtyt ∑ t = 1 nxt 2 = xy ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Il caso di un modello polinomiale

Se i dati sono adattati da una funzione di regressione polinomiale di una variabile f (x) = b 0 + ∑ io = 1 k b io x io (\ displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), quindi, percepire i gradi x io (\ displaystyle x ^ (i)) come fattori indipendenti per ciascuno io (\ displaystyle i)è possibile stimare i parametri del modello in base alla formula generale per la stima dei parametri del modello lineare. Per fare ciò, è sufficiente tenere conto nella formula generale che con una tale interpretazione x t io x t j = x t io x t j = x t io + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) e x t j y t = x t j y t (\ displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Pertanto, le equazioni matriciali in questo caso assumeranno la forma:

(n ∑ nxt … ∑ nxtk ∑ nxt ∑ nxt 2 … ∑ nxtk + 1 ⋮ ⋮ ⋱ ⋮ ∑ nxtk ∑ nxtk + 1 … ∑ nxt 2 k) [ b 0 b 1 ⋮ bk ] = [ ∑ nx t ky t ] . (\ displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ sum \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrice)).)

Proprietà statistiche delle stime OLS

Innanzitutto, notiamo che per i modelli lineari, le stime dei minimi quadrati sono stime lineari, come segue dalla formula precedente. Per l'imparzialità delle stime dei minimi quadrati, è necessario e sufficiente soddisfare la condizione più importante dell'analisi di regressione: l'aspettativa matematica di un errore casuale condizionato dai fattori deve essere uguale a zero. Tale condizione è soddisfatta, in particolare, se

1. l'aspettativa matematica di errori casuali è zero, e
2. i fattori e gli errori casuali sono valori indipendenti casuali .

La seconda condizione - la condizione dei fattori esogeni - è fondamentale. Se questa proprietà non è soddisfatta, allora possiamo presumere che quasi tutte le stime saranno estremamente insoddisfacenti: non saranno nemmeno coerenti (ovvero, anche una quantità molto grande di dati non consente di ottenere stime qualitative in questo caso). Nel caso classico, si fa un'ipotesi più forte sul determinismo dei fattori, in contrasto con un errore casuale, il che significa automaticamente che la condizione esogena è soddisfatta. Nel caso generale, per coerenza delle stime, è sufficiente soddisfare la condizione di esogeneità unitamente alla convergenza della matrice V x (\ displaystyle V_ (x)) a una matrice non degenerata quando la dimensione del campione aumenta all'infinito.

Affinché, oltre alla coerenza e all'imparzialità, le stime dei minimi quadrati (ordinari) siano anche efficaci (le migliori nella classe delle stime imparziali lineari), devono essere soddisfatte ulteriori proprietà di un errore casuale:

Queste ipotesi possono essere formulate per la matrice di covarianza del vettore degli errori casuali V (ε) = σ 2 io (\ displaystyle V (\ varepsilon) = \ sigma ^ (2) I).

Viene chiamato un modello lineare che soddisfa queste condizioni classico. Le stime OLS per la regressione lineare classica sono stime imparziali, coerenti e più efficienti nella classe di tutte le stime imparziali lineari (nella letteratura inglese, a volte viene utilizzata l'abbreviazione blu (Miglior stimatore lineare imparziale) è la migliore stima lineare imparziale; nella letteratura domestica viene citato più spesso il teorema di Gauss - Markov). Come è facile mostrare, la matrice di covarianza del vettore delle stime dei coefficienti sarà uguale a:

V (b ^ OLS) = σ 2 (XTX) - 1 (\ displaystyle V ((\ cappello (b)) _ (OLS)) = \ sigma ^ (2) (X ^ (T) X) ^ (-1 )).

Efficienza significa che questa matrice di covarianza è "minima" (qualsiasi combinazione lineare di coefficienti, e in particolare i coefficienti stessi, ha una varianza minima), ovvero, nella classe delle stime imparziali lineari, le stime OLS sono le migliori. Gli elementi diagonali di questa matrice - le varianze delle stime dei coefficienti - sono parametri importanti della qualità delle stime ottenute. Tuttavia, non è possibile calcolare la matrice di covarianza perché la varianza dell'errore casuale è sconosciuta. Si può dimostrare che la stima imparziale e coerente (per il modello lineare classico) della varianza degli errori casuali è il valore:

S 2 = R S S / (n - k) (\ displaystyle s ^ (2) = RSS / (n k)).

Sostituendo questo valore nella formula della matrice di covarianza, otteniamo una stima della matrice di covarianza. Anche le stime risultanti sono imparziali e coerenti. È anche importante che la stima della varianza dell'errore (e quindi le varianze dei coefficienti) e le stime dei parametri del modello siano variabili casuali indipendenti, il che rende possibile ottenere statistiche di test per testare ipotesi sui coefficienti del modello.

Va notato che se le ipotesi classiche non sono soddisfatte, le stime dei parametri dei minimi quadrati non sono le più efficienti e, dove W (\ displaystyle W)è una matrice di peso definita positiva simmetrica. I minimi quadrati ordinari sono un caso speciale di questo approccio, quando la matrice di peso è proporzionale alla matrice di identità. Come è noto, per matrici (o operatori) simmetriche c'è una scomposizione W = P T P (\ displaystyle W = P ^ (T) P). Pertanto, questo funzionale può essere rappresentato come segue e TPTP e = (P e) TP e = e ∗ T e ∗ (\ displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), cioè questo funzionale può essere rappresentato come la somma dei quadrati di alcuni "residui" trasformati. Pertanto, possiamo distinguere una classe di metodi dei minimi quadrati - metodi LS (Least Squares).

Si dimostra (teorema di Aitken) che per un modello di regressione lineare generalizzato (in cui non sono imposte restrizioni alla matrice di covarianza degli errori casuali), le più efficaci (nella classe delle stime imparziali lineari) sono le stime delle cosiddette. OLS generalizzato (OMNK, GLS - Minimi quadrati generalizzati)- Metodo LS con matrice di peso uguale alla matrice di covarianza inversa degli errori casuali: W = V ε - 1 (\ displaystyle W = V_ (\ varepsilon )^ (-1)).

Si può dimostrare che la formula per le stime GLS dei parametri del modello lineare ha la forma

B ^ GLS = (XTV - 1 X) - 1 XTV - 1 y (\ displaystyle (\ cappello (b)) _ (GLS) = (X ^ (T) V ^ (-1) X) ^ (-1) X^(T)V^(-1)y).

La matrice di covarianza di queste stime, rispettivamente, sarà uguale a

V (b ^ GLS) = (XTV - 1 X) - 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- uno)).

Infatti, l'essenza dell'OLS sta in una certa trasformazione (lineare) (P) dei dati originali e nell'applicazione dei soliti minimi quadrati ai dati trasformati. Lo scopo di questa trasformazione è che per i dati trasformati, gli errori casuali soddisfano già le ipotesi classiche.

Minimi quadrati ponderati

Nel caso di una matrice di peso diagonale (e quindi della matrice di covarianza degli errori casuali), abbiamo i cosiddetti minimi quadrati pesati (WLS - Weighted Least Squares). In questo caso, la somma pesata dei quadrati dei residui del modello è minimizzata, ovvero ogni osservazione riceve un “peso” che è inversamente proporzionale alla varianza dell'errore casuale in questa osservazione: e TW e = ∑ t = 1 netto 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). Infatti, i dati vengono trasformati ponderando le osservazioni (dividendo per un importo proporzionale alla deviazione standard ipotizzata degli errori casuali) e ai dati ponderati vengono applicati i minimi quadrati normali.

ISBN 978-5-7749-0473-0.

Econometria. Libro di testo / Ed. Eliseeva I. I. - 2a ed. - M.: Finanza e statistica, 2006. - 576 p. - ISBN 5-279-02786-3.

Alexandrova N.V. Storia dei termini matematici, concetti, designazioni: un dizionario-libro di consultazione. - 3a ed. - M.: LKI, 2008. - 248 p. - ISBN 978-5-382-00839-4. IV Mitin, Rusakov V.S. Analisi ed elaborazione dei dati sperimentali - 5a edizione - 24p.

Dopo l'allineamento, otteniamo una funzione della forma seguente: g (x) = x + 1 3 + 1 .

Possiamo approssimare questi dati con una relazione lineare y = a x + b calcolando i parametri appropriati. Per fare ciò, dovremo applicare il cosiddetto metodo dei minimi quadrati. Dovrai anche fare un disegno per verificare quale linea allineerà meglio i dati sperimentali.

Yandex.RTB R-A-339285-1

Che cos'è esattamente OLS (metodo dei minimi quadrati)

La cosa principale che dobbiamo fare è trovare tali coefficienti di dipendenza lineare a cui il valore della funzione di due variabili F (a, b) = ∑ i = 1 n (yi - (axi + b)) 2 sarà il più piccolo . In altre parole, per determinati valori di aeb, la somma delle deviazioni al quadrato dei dati presentati dalla retta risultante avrà un valore minimo. Questo è il significato del metodo dei minimi quadrati. Tutto quello che dobbiamo fare per risolvere l'esempio è trovare l'estremo della funzione di due variabili.

Come ricavare formule per il calcolo dei coefficienti

Per ricavare formule per il calcolo dei coefficienti, è necessario comporre e risolvere un sistema di equazioni con due variabili. Per fare ciò, calcoliamo le derivate parziali dell'espressione F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 rispetto ad aeb e le uguagliamo a 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ io = 1 n (yi - (asse + b)) xi = 0 - 2 ∑ io = 1 n ( yi - (axi + b)) = 0 ⇔ a ∑ i = 1 nxi 2 + b ∑ i = 1 nxi = ∑ i = 1 nxiyia ∑ i = 1 nxi + ∑ i = 1 nb = ∑ i = 1 nyi ⇔ a ∑ i = 1 nxi 2 + b ∑ i = 1 nxi = ∑ i = 1 nxiyia ∑ i = 1 nxi + nb = ∑ i = 1 nyi

Per risolvere un sistema di equazioni, puoi utilizzare qualsiasi metodo, come la sostituzione o il metodo di Cramer. Di conseguenza, dovremmo ottenere formule che calcolano i coefficienti utilizzando il metodo dei minimi quadrati.

n ∑ io = 1 n x io y io - ∑ io = 1 n x io ∑ io = 1 n y io n ∑ io = 1 n - ∑ io = 1 n x io 2 b = ∑ io = 1 n y io - un ∑ io = 1 n x io n

Abbiamo calcolato i valori delle variabili per le quali la funzione
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 assumerà il valore minimo. Nel terzo paragrafo dimostreremo perché è così.

Questa è l'applicazione pratica del metodo dei minimi quadrati. La sua formula, che viene utilizzata per trovare il parametro a , include ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 e il parametro
n - indica la quantità di dati sperimentali. Ti consigliamo di calcolare ogni importo separatamente. Il valore del coefficiente b viene calcolato immediatamente dopo a .

Torniamo all'esempio originale.

Esempio 1

Qui abbiamo n uguale a cinque. Per rendere più conveniente calcolare gli importi richiesti inclusi nelle formule dei coefficienti, compiliamo la tabella.

	io = 1	io = 2	io = 3	io = 4	io = 5	∑ io = 1 5
x io	0	1	2	4	5	12
si io	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x io e io	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x io 2	0	1	4	16	25	46

Soluzione

La quarta riga contiene i dati ottenuti moltiplicando i valori della seconda riga per i valori della terza per ogni individuo i. La quinta riga contiene i dati del secondo quadrato. L'ultima colonna mostra le somme dei valori delle singole righe.

Usiamo il metodo dei minimi quadrati per calcolare i coefficienti aeb di cui abbiamo bisogno. Per fare ciò, sostituisci i valori desiderati dall'ultima colonna e calcola le somme:

n ∑ i = 1 nxiyi - ∑ i = 1 nxi ∑ i = 1 nyin ∑ i = 1 n - ∑ i = 1 nxi 2 b = ∑ i = 1 nyi - a ∑ i = 1 nxin ⇒ a = 5 33 , 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Abbiamo ottenuto che la retta approssimata desiderata sarà simile a y = 0, 165 x + 2, 184. Ora dobbiamo determinare quale linea approssima meglio i dati - g (x) = x + 1 3 + 1 o 0 , 165 x + 2 , 184 . Facciamo una stima usando il metodo dei minimi quadrati.

Per calcolare l'errore, dobbiamo trovare la somma delle deviazioni al quadrato dei dati dalle rette σ 1 = ∑ i = 1 n (yi - (axi + bi)) 2 e σ 2 = ∑ i = 1 n (yi - g (xi)) 2 , il valore minimo corrisponderà ad una linea più opportuna.

σ 1 = ∑ i = 1 n (yi - (asse + bi)) 2 = = ∑ i = 1 5 (yi - (0 , 165 xi + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (yi - g (xi)) 2 = = ∑ io = 1 5 (yi - (xi + 1 3 + 1)) 2 ≈ 0 , 096

Risposta: poiché σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0 , 165 x + 2 , 184 .

Il metodo dei minimi quadrati è mostrato chiaramente nell'illustrazione grafica. La linea rossa indica la retta g (x) = x + 1 3 + 1, la linea blu indica y = 0, 165 x + 2, 184. I dati grezzi sono contrassegnati da punti rosa.

Spieghiamo perché sono necessarie esattamente approssimazioni di questo tipo.

Possono essere utilizzati in problemi che richiedono il livellamento dei dati, nonché in quelli in cui i dati devono essere interpolati o estrapolati. Ad esempio, nel problema discusso sopra, si potrebbe trovare il valore della quantità osservata y in x = 3 o in x = 6 . Abbiamo dedicato un articolo separato a tali esempi.

Dimostrazione del metodo LSM

Perché la funzione assuma il valore minimo per aeb calcolati, è necessario che in un dato punto la matrice della forma quadratica del differenziale della funzione della forma F (a, b) = ∑ i = 1 n ( yi - (axi + b)) 2 essere definito positivo. Ti mostriamo come dovrebbe apparire.

Esempio 2

Abbiamo un differenziale del secondo ordine della seguente forma:

d 2 F (a ; b) = δ 2 F (a ; b) δ un 2 d 2 un + 2 δ 2 F (a ; b) δ un δ bdadb + δ 2 F (a ; b) δ b 2 d 2b

Soluzione

δ 2 F (a ; b) δ un 2 = δ δ F (a ; b) δ un δ un = = δ - 2 ∑ io = 1 n (yi - (asse + b)) xi δ un = 2 ∑ io = 1 n (xi) 2 δ 2 F (a ; b) δ un δ b = δ δ F (a ; b) δ un δ b = = δ - 2 ∑ io = 1 n (yi - (axi + b) ) xi δ b = 2 ∑ io = 1 nxi δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ io = 1 n (yi - (axi + b)) δ b = 2 ∑ io = 1 n (1) = 2 n

In altre parole, può essere scritto come segue: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x io io = 1 n d a d b + (2 n) d 2 b .

Abbiamo ottenuto una matrice di forma quadratica M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

In questo caso, i valori dei singoli elementi non cambieranno a seconda di aeb . Questa matrice è definita positiva? Per rispondere a questa domanda, controlliamo se i suoi minori angolari sono positivi.

Calcola l'angolo minore del primo ordine: 2 ∑ i = 1 n (x i) 2 > 0 . Poiché i punti x i non coincidono, la disuguaglianza è stretta. Lo terremo presente in ulteriori calcoli.

Calcoliamo il minore angolare del secondo ordine:

d e t (M) = 2 ∑ io = 1 n (x io) 2 2 ∑ io = 1 n x io 2 ∑ io = 1 n x io 2 n = 4 n ∑ io = 1 n (x io) 2 - ∑ io = 1 n x io 2

Successivamente, si procede alla dimostrazione della disuguaglianza n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 utilizzando l'induzione matematica.

1. Verifichiamo se questa disuguaglianza è valida per n arbitrario. Prendiamo 2 e calcoliamo:

2 ∑ io = 1 2 (xi) 2 - ∑ io = 1 2 xi 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Abbiamo ottenuto l'uguaglianza corretta (se i valori x 1 e x 2 non corrispondono).

1. Assumiamo che questa disuguaglianza sia vera per n , cioè n ∑ io = 1 n (x io) 2 - ∑ io = 1 n x io 2 > 0 – vero.
2. Ora dimostriamo la validità per n + 1 , cioè che (n + 1) ∑ io = 1 n + 1 (xi) 2 - ∑ io = 1 n + 1 xi 2 > 0 se n ∑ io = 1 n (xi) 2 - ∑ io = 1 nxi 2 > 0 .

Calcoliamo:

(n + 1) ∑ io = 1 n + 1 (xi) 2 - ∑ io = 1 n + 1 xi 2 = = (n + 1) ∑ io = 1 n (xi) 2 + xn + 1 2 - ∑ io = 1 nxi + xn + 1 2 = = n ∑ i = 1 n (xi) 2 + n xn + 1 2 + ∑ i = 1 n (xi) 2 + xn + 1 2 - - ∑ i = 1 nxi 2 + 2 xn + 1 ∑ i = 1 nxi + xn + 1 2 = = ∑ i = 1 n (xi) 2 - ∑ i = 1 nxi 2 + n xn + 1 2 - xn + 1 ∑ i = 1 nxi + ∑ i = 1 n (xi) 2 = = ∑ io = 1 n (xi) 2 - ∑ io = 1 nxi 2 + xn + 1 2 - 2 xn + 1 x 1 + x 1 2 + + xn + 1 2 - 2 xn + 1 x 2 + x 2 2 + . . . + xn + 1 2 - 2 xn + 1 x 1 + xn 2 = = n ∑ i = 1 n (xi) 2 - ∑ i = 1 nxi 2 + + (xn + 1 - x 1) 2 + (xn + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

L'espressione racchiusa tra parentesi graffe sarà maggiore di 0 (in base a quanto ipotizzato nel passaggio 2) e il resto dei termini sarà maggiore di 0 perché sono tutti quadrati di numeri. Abbiamo dimostrato la disuguaglianza.

Risposta: gli aeb trovati corrisponderanno al valore più piccolo della funzione F (a, b) = ∑ i = 1 n (yi - (axi + b)) 2, il che significa che sono i parametri desiderati del metodo dei minimi quadrati (LSM).

Se noti un errore nel testo, evidenzialo e premi Ctrl+Invio

Approssimiamo la funzione con un polinomio di 2° grado. Per fare ciò, calcoliamo i coefficienti del normale sistema di equazioni:

, ,

Componiamo un normale sistema di minimi quadrati, che ha la forma:

La soluzione del sistema è facile da trovare:, , .

Si trova quindi il polinomio di 2° grado: .

Background teorico

Torna a pagina<Введение в вычислительную математику. Примеры>

Esempio 2. Trovare il grado ottimo di un polinomio.

Torna a pagina<Введение в вычислительную математику. Примеры>

Esempio 3. Derivazione di un normale sistema di equazioni per trovare i parametri di una dipendenza empirica.

Desumiamo un sistema di equazioni per determinare i coefficienti e le funzioni , che esegue l'approssimazione della radice quadrata della funzione data rispetto ai punti. Componi una funzione e scrivi la condizione estrema necessaria per esso:

Quindi il sistema normale assumerà la forma:

Abbiamo ottenuto un sistema lineare di equazioni per parametri sconosciuti e facilmente risolvibile.

Background teorico

Torna a pagina<Введение в вычислительную математику. Примеры>

Esempio.

Dati sperimentali sui valori delle variabili X e a sono riportati nella tabella.

Come risultato del loro allineamento, la funzione

Usando metodo dei minimi quadrati, approssima questi dati con una dipendenza lineare y=ascia+b(trovare parametri ma e B). Scopri quale delle due linee è migliore (nel senso del metodo dei minimi quadrati) allinea i dati sperimentali. Fai un disegno.

L'essenza del metodo dei minimi quadrati (LSM).

Il problema è trovare i coefficienti di dipendenza lineare per i quali la funzione di due variabili ma e Bassume il valore più piccolo. Cioè, dati i dati ma e B la somma delle deviazioni al quadrato dei dati sperimentali dalla retta trovata sarà la più piccola. Questo è il punto centrale del metodo dei minimi quadrati.

Pertanto, la soluzione dell'esempio si riduce a trovare l'estremo di una funzione di due variabili.

Derivazione di formule per il calcolo dei coefficienti.

Viene compilato e risolto un sistema di due equazioni con due incognite. Trovare derivate parziali di funzioni per variabili ma e B, uguagliamo queste derivate a zero.

Risolviamo il sistema di equazioni risultante con qualsiasi metodo (ad esempio metodo di sostituzione o il metodo di Cramer) e ottenere formule per trovare i coefficienti utilizzando il metodo dei minimi quadrati (LSM).

Con i dati ma e B funzione assume il valore più piccolo. La prova di questo fatto è data di seguito nel testo a fine pagina.

Questo è l'intero metodo dei minimi quadrati. Formula per trovare il parametro un contiene le somme , , , e il parametro nè la quantità di dati sperimentali. Si consiglia di calcolare separatamente i valori di queste somme.

Coefficiente B trovato dopo il calcolo un.

È tempo di ricordare l'esempio originale.

Soluzione.

Nel nostro esempio n=5. Compiliamo la tabella per comodità di calcolare gli importi che sono inclusi nelle formule dei coefficienti richiesti.

I valori nella quarta riga della tabella si ottengono moltiplicando i valori della 2a riga per i valori della 3a riga per ogni numero io.

I valori della quinta riga della tabella si ottengono quadrando i valori della 2a riga per ogni numero io.

I valori dell'ultima colonna della tabella sono le somme dei valori nelle righe.

Usiamo le formule del metodo dei minimi quadrati per trovare i coefficienti ma e B. Sostituiamo in essi i valori corrispondenti dall'ultima colonna della tabella:

Di conseguenza, y=0,165x+2,184è la retta approssimata desiderata.

Resta da scoprire quale delle linee y=0,165x+2,184 o approssima meglio i dati originali, ovvero per effettuare una stima utilizzando il metodo dei minimi quadrati.

Stima dell'errore del metodo dei minimi quadrati.

Per fare ciò, è necessario calcolare la somma delle deviazioni quadrate dei dati originali da queste linee e , un valore più piccolo corrisponde a una linea che approssima meglio i dati originali in termini di metodo dei minimi quadrati.

Dal , quindi la linea y=0,165x+2,184 approssima meglio i dati originali.

Illustrazione grafica del metodo dei minimi quadrati (LSM).

Tutto sembra fantastico nelle classifiche. La linea rossa è la linea trovata y=0,165x+2,184, la linea blu è , i punti rosa sono i dati originali.

A cosa serve, a cosa servono tutte queste approssimazioni?

Io personalmente lo utilizzo per risolvere problemi di data smoothing, interpolazione ed estrapolazione (nell'esempio originale, ti potrebbe essere chiesto di trovare il valore del valore osservato y a x=3 o quando x=6 secondo il metodo MNC). Ma di questo parleremo più avanti in un'altra sezione del sito.

Inizio pagina

Prova.

In modo che quando trovato ma e B funzione assume il valore più piccolo, è necessario che a questo punto la matrice della forma quadratica del differenziale del secondo ordine per la funzione era positivo definitivo. Mostriamolo.

Il differenziale del secondo ordine ha la forma:

Cioè

Pertanto, la matrice della forma quadratica ha la forma

e i valori degli elementi non dipendono ma e B.

Dimostriamo che la matrice è definita positiva. Ciò richiede che gli angoli minori siano positivi.

Angolare minore di primo ordine . La disuguaglianza è rigorosa, poiché i punti non coincidono. Ciò sarà implicito in quanto segue.

Angolare minore di secondo ordine

Dimostriamolo metodo di induzione matematica.

Produzione: valori trovati ma e B corrispondono al valore più piccolo della funzione , pertanto, sono i parametri desiderati per il metodo dei minimi quadrati.

Hai mai capito?
Ordina una soluzione

Inizio pagina

Sviluppo di una previsione con il metodo dei minimi quadrati. Esempio di soluzione del problema

Estrapolazione - questo è un metodo di ricerca scientifica, che si basa sulla diffusione di tendenze, modelli, relazioni passate e presenti con lo sviluppo futuro dell'oggetto di previsione. I metodi di estrapolazione includono metodo della media mobile, metodo di smoothing esponenziale, metodo dei minimi quadrati.

Essenza metodo dei minimi quadrati consiste nel minimizzare la somma delle deviazioni quadrate tra i valori osservati e calcolati. I valori calcolati si trovano in base all'equazione selezionata: l'equazione di regressione. Minore è la distanza tra i valori effettivi e quelli calcolati, più accurata sarà la previsione basata sull'equazione di regressione.

L'analisi teorica dell'essenza del fenomeno in esame, il cui cambiamento è rappresentato da una serie temporale, funge da base per la scelta di una curva. A volte vengono prese in considerazione considerazioni sulla natura della crescita dei livelli delle serie. Quindi, se la crescita della produzione è prevista in una progressione aritmetica, lo smoothing viene eseguito in linea retta. Se risulta che la crescita è esponenziale, il livellamento dovrebbe essere eseguito in base alla funzione esponenziale.

La formula di lavoro del metodo dei minimi quadrati : Y t+1 = a*X + b, dove t + 1 è il periodo di previsione; Уt+1 – indicatore previsto; aeb sono coefficienti; X è un simbolo del tempo.

I coefficienti a e b sono calcolati secondo le seguenti formule:

dove, Uf - i valori effettivi della serie di dinamiche; n è il numero di livelli nella serie storica;

Il livellamento delle serie temporali con il metodo dei minimi quadrati serve a riflettere i modelli di sviluppo del fenomeno in esame. Nell'espressione analitica di una tendenza, il tempo è considerato una variabile indipendente ei livelli della serie agiscono in funzione di questa variabile indipendente.

Lo sviluppo di un fenomeno non dipende da quanti anni sono trascorsi dal punto di partenza, ma da quali fattori ne hanno influenzato lo sviluppo, in quale direzione e con quale intensità. Da ciò risulta chiaro che lo sviluppo di un fenomeno nel tempo appare come risultato dell'azione di questi fattori.

Impostando correttamente il tipo di curva, il tipo di dipendenza analitica dal tempo è uno dei compiti più difficili dell'analisi predittiva. .

La scelta del tipo di funzione che descrive l'andamento, i cui parametri sono determinati con il metodo dei minimi quadrati, è nella maggior parte dei casi empirica, costruendo più funzioni e confrontandole tra loro secondo il valore della radice- errore quadratico medio, calcolato con la formula:

dove Uf - i valori effettivi della serie di dinamiche; Ur – valori calcolati (smussati) delle serie temporali; n è il numero di livelli nella serie storica; p è il numero di parametri definiti nelle formule che descrivono l'andamento (andamento dello sviluppo).

Svantaggi del metodo dei minimi quadrati :

• quando si tenta di descrivere il fenomeno economico in esame utilizzando un'equazione matematica, la previsione sarà accurata per un breve periodo di tempo e l'equazione di regressione dovrebbe essere ricalcolata non appena saranno disponibili nuove informazioni;
• la complessità della selezione dell'equazione di regressione, che è risolvibile utilizzando programmi per computer standard.

Un esempio di utilizzo del metodo dei minimi quadrati per sviluppare una previsione

Un compito . Ci sono dati che caratterizzano il livello di disoccupazione nella regione, %

• Costruire una previsione del tasso di disoccupazione nella regione per i mesi di novembre, dicembre, gennaio, utilizzando i metodi: media mobile, smoothing esponenziale, minimi quadrati.
• Calcolare gli errori nelle previsioni risultanti utilizzando ciascun metodo.
• Confronta i risultati ottenuti, trai conclusioni.

Soluzione dei minimi quadrati

Per la soluzione, compileremo una tabella in cui faremo i calcoli necessari:

ε = 28,63/10 = 2,86% accuratezza delle previsioni alto.

Produzione : Confrontando i risultati ottenuti nei calcoli metodo della media mobile , livellamento esponenziale e il metodo dei minimi quadrati, possiamo dire che l'errore relativo medio nei calcoli con il metodo di smoothing esponenziale rientra nel 20-50%. Ciò significa che l'accuratezza della previsione in questo caso è solo soddisfacente.

Nel primo e nel terzo caso, l'accuratezza della previsione è elevata, poiché l'errore relativo medio è inferiore al 10%. Ma il metodo della media mobile ha permesso di ottenere risultati più affidabili (previsione per novembre - 1,52%, previsione per dicembre - 1,53%, previsione per gennaio - 1,49%), poiché l'errore relativo medio quando si utilizza questo metodo è il più piccolo - 1 ,13%.

Metodo dei minimi quadrati

Altri articoli correlati:

Elenco delle fonti utilizzate

1. Raccomandazioni scientifiche e metodologiche sui problemi della diagnosi dei rischi sociali e della previsione di sfide, minacce e conseguenze sociali. Università Sociale Statale Russa. Mosca. 2010;
2. Vladimirova L.P. Previsione e pianificazione a condizioni di mercato: Proc. indennità. M.: Casa editrice "Dashkov and Co", 2001;
3. Novikova N.V., Pozdeeva O.G. Previsione dell'economia nazionale: guida didattica e metodologica. Ekaterinburg: casa editrice Ural. stato economia università, 2007;
4. Slutskin L.N. Corso MBA in Business Forecasting. Mosca: Alpina Business Books, 2006.

Programma MNE

Inserisci i dati

Dati e approssimazione y = a + b x

io- numero del punto sperimentale;
x io- il valore del parametro fisso nel punto io;
si io- il valore del parametro misurato nel punto io;
ω io- misurazione del peso al punto io;
si io, calc.- la differenza tra il valore misurato e il valore calcolato dalla regressione y al punto io;
S x i (x i)- stima dell'errore x io durante la misurazione y al punto io.

Dati e approssimazione y = k x

io	x io	si io	ω io	si io, calc.	Sì io	S x i (x i)

Fare clic sul grafico

Manuale d'uso del programma online MNC.

Nel campo dati, inserisci su ogni riga separata i valori di `x` e `y` in un punto sperimentale. I valori devono essere separati da spazi bianchi (spazio o tabulazione).

Il terzo valore può essere il peso in punti di `w`. Se il peso in punti non è specificato, è uguale a uno. Nella stragrande maggioranza dei casi, i pesi dei punti sperimentali sono sconosciuti o non calcolati; tutti i dati sperimentali sono considerati equivalenti. A volte i pesi nell'intervallo di valori studiato non sono sicuramente equivalenti e possono essere calcolati anche teoricamente. Ad esempio, in spettrofotometria, i pesi possono essere calcolati utilizzando semplici formule, anche se praticamente tutti trascurano questo per ridurre i costi di manodopera.

I dati possono essere incollati negli appunti da un foglio di calcolo della suite per ufficio, come Excel di Microsoft Office o Calc di Open Office. Per fare ciò, nel foglio di calcolo, seleziona l'intervallo di dati da copiare, copia negli appunti e incolla i dati nel campo dati in questa pagina.

Per calcolare con il metodo dei minimi quadrati, sono necessari almeno due punti per determinare due coefficienti `b` - la tangente dell'angolo di inclinazione della retta e `a` - il valore tagliato dalla retta sulla `y ` asse.

Per stimare l'errore dei coefficienti di regressione calcolati, è necessario impostare il numero di punti sperimentali a più di due.

Metodo dei minimi quadrati (LSM).

Maggiore è il numero di punti sperimentali, più accurata è la stima statistica dei coefficienti (a causa della diminuzione del coefficiente di Student) e più vicina la stima alla stima del campione generale.

L'ottenimento di valori in ogni punto sperimentale è spesso associato a costi di manodopera significativi, pertanto viene spesso eseguito un numero di esperimenti compromesso, che fornisce una stima digeribile e non comporta costi di manodopera eccessivi. Di norma, il numero di punti sperimentali per una dipendenza lineare dai minimi quadrati con due coefficienti viene scelto nella regione di 5-7 punti.

Una breve teoria dei minimi quadrati per la dipendenza lineare

Supponiamo di avere un insieme di dati sperimentali sotto forma di coppie di valori [`y_i`, `x_i`], dove `i` è il numero di una misura sperimentale da 1 a `n`; `y_i` - il valore del valore misurato nel punto `i`; `x_i` - il valore del parametro che abbiamo impostato nel punto `i`.

Un esempio è il funzionamento della legge di Ohm. Modificando la tensione (differenza potenziale) tra le sezioni del circuito elettrico, misuriamo la quantità di corrente che passa attraverso questa sezione. La fisica ci fornisce la dipendenza trovata sperimentalmente:

`I=U/R`,
dove `I` - forza attuale; `R` - resistenza; `U` - tensione.

In questo caso, `y_i` è il valore della corrente misurata e `x_i` è il valore della tensione.

Come altro esempio, si consideri l'assorbimento della luce da parte di una soluzione di una sostanza in soluzione. La chimica ci dà la formula:

`A = εl C`,
dove `A` è la densità ottica della soluzione; `ε` - trasmittanza soluto; `l` - lunghezza del percorso quando la luce passa attraverso una cuvetta con una soluzione; `C` è la concentrazione del soluto.

In questo caso, `y_i` è la densità ottica misurata `A` e `x_i` è la concentrazione della sostanza che abbiamo impostato.

Considereremo il caso in cui l'errore relativo nell'impostazione di `x_i` è molto inferiore all'errore relativo nella misurazione di `y_i`. Assumeremo anche che tutti i valori misurati di `y_i` siano casuali e normalmente distribuiti, cioè obbedire alla normale legge di distribuzione.

Nel caso di una dipendenza lineare di `y` da `x`, possiamo scrivere la dipendenza teorica:
`y = a + bx`.

Da un punto di vista geometrico, il coefficiente `b` denota la tangente dell'angolo di inclinazione della linea all'asse `x`, e il coefficiente `a` - il valore di `y` nel punto di intersezione della linea con l'asse `y` (per `x = 0`).

Trovare i parametri della retta di regressione.

In un esperimento, i valori misurati di `y_i` non possono trovarsi esattamente sulla linea teorica a causa di errori di misurazione, che sono sempre inerenti alla vita reale. Pertanto, un'equazione lineare deve essere rappresentata da un sistema di equazioni:
`y_i = a + b x_i + ε_i` (1),
dove `ε_i` è l'errore di misura sconosciuto di `y` nel `i`esimo esperimento.

Viene anche chiamata dipendenza (1). regressione, cioè. la dipendenza delle due grandezze l'una dall'altra con significatività statistica.

Il compito di ripristinare la dipendenza è trovare i coefficienti `a` e `b` dai punti sperimentali [`y_i`, `x_i`].

Per trovare i coefficienti si usa solitamente `a` e `b` metodo dei minimi quadrati(MNK). È un caso speciale del principio di massima verosimiglianza.

Riscriviamo (1) come `ε_i = y_i - a - b x_i`.

Quindi sarà la somma degli errori al quadrato
`Φ = somma_(i=1)^(n) ε_i^2 = somma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Il principio del metodo dei minimi quadrati è di minimizzare la somma (2) rispetto ai parametri `a` e `b`.

Il minimo si raggiunge quando le derivate parziali della somma (2) rispetto ai coefficienti `a` e `b` sono uguali a zero:
`frac(parziale Φ)(parziale a) = frac(somma parziale_(i=1)^(n) (y_i - a - b x_i)^2)(a parziale) = 0`
`frac(parziale Φ)(parziale b) = frac(somma parziale_(i=1)^(n) (y_i - a - b x_i)^2)(parziale b) = 0`

Espandendo le derivate, otteniamo un sistema di due equazioni con due incognite:
`somma_(i=1)^(n) (2a + 2bx_i - 2y_i) = somma_(i=1)^(n) (a + bx_i - y_i) = 0`
`somma_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = somma_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Apriamo le parentesi e trasferiamo le somme indipendenti dai coefficienti desiderati nell'altra metà, otteniamo un sistema di equazioni lineari:
`somma_(i=1)^(n) y_i = a n + b somma_(i=1)^(n) bx_i`
`somma_(i=1)^(n) x_iy_i = una somma_(i=1)^(n) x_i + b somma_(i=1)^(n) x_i^2`

Risolvendo il sistema risultante, troviamo le formule per i coefficienti `a` e `b`:

`a = frac(somma_(i=1)^(n) y_i somma_(i=1)^(n) x_i^2 - somma_(i=1)^(n) x_i somma_(i=1)^(n ) x_iy_i) (n somma_(i=1)^(n) x_i^2 — (somma_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n somma_(i=1)^(n) x_iy_i - somma_(i=1)^(n) x_i somma_(i=1)^(n) y_i) (n somma_(i=1)^ (n) x_i^2 - (somma_(i=1)^(n) x_i)^2)` (3.2)

Queste formule hanno soluzioni quando `n > 1` (la linea può essere tracciata utilizzando almeno 2 punti) e quando il determinante `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, cioè quando i punti `x_i` nell'esperimento sono diversi (cioè quando la linea non è verticale).

Stima degli errori nei coefficienti della retta di regressione

Per una stima più accurata dell'errore nel calcolo dei coefficienti `a` e `b`, è auspicabile un gran numero di punti sperimentali. Quando `n = 2`, è impossibile stimare l'errore dei coefficienti, perché la linea di approssimazione passerà in modo univoco per due punti.

Viene determinato l'errore della variabile casuale `V` legge sull'accumulo degli errori
`S_V^2 = somma_(i=1)^p (frac(f parziale)(z_i parziale))^2 S_(z_i)^2`,
dove `p` è il numero di parametri `z_i` con errore `S_(z_i)` che influiscono sull'errore `S_V`;
`f` è una funzione di dipendenza di `V` su `z_i`.

Scriviamo la legge di accumulazione degli errori per l'errore dei coefficienti `a` e `b`
`S_a^2 = sum_(i=1)^(n)(frac(a parziale)(y_i parziale))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(a parziale )(x_i parziale))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(a parziale)(y_i parziale))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(parziale b)(parziale y_i))^2 S_(y_i)^2 + somma_(i=1)^(n)(frac(parziale b )(x_i parziale))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(b parziale)(y_i parziale))^2 `,
perché `S_(x_i)^2 = 0` (in precedenza abbiamo fatto una prenotazione che l'errore di `x` è trascurabile).

`S_y^2 = S_(y_i)^2` - l'errore (varianza, deviazione standard al quadrato) nella dimensione `y`, supponendo che l'errore sia uniforme per tutti i valori `y`.

Sostituendo le formule per il calcolo di `a` e `b` nelle espressioni risultanti, otteniamo

`S_a^2 = S_y^2 frac(somma_(i=1)^(n) (somma_(i=1)^(n) x_i^2 - x_i somma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n somma_(i=1)^(n) x_i^2 - (somma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

Nella maggior parte degli esperimenti reali, il valore di 'Sy' non viene misurato. Per fare ciò, è necessario eseguire più misurazioni parallele (esperimenti) in uno o più punti del piano, il che aumenta il tempo (ed eventualmente il costo) dell'esperimento. Pertanto, di solito si presume che la deviazione di 'y' dalla retta di regressione possa essere considerata casuale. La stima della varianza `y` in questo caso è calcolata dalla formula.

`S_y^2 = S_(y, resto)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Il divisore `n-2` appare perché abbiamo ridotto il numero di gradi di libertà dovuto al calcolo di due coefficienti per lo stesso campione di dati sperimentali.

Questa stima è anche chiamata varianza residua relativa alla retta di regressione `S_(y, resto)^2`.

La valutazione della significatività dei coefficienti viene effettuata secondo il criterio dello Studente

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Se i criteri calcolati `t_a`, `t_b` sono inferiori ai criteri della tabella `t(P, n-2)`, allora si considera che il coefficiente corrispondente non è significativamente diverso da zero con una data probabilità `P`.

Per valutare la qualità della descrizione di una relazione lineare, puoi confrontare `S_(y, resto)^2` e `S_(bar y)` rispetto alla media usando il criterio di Fisher.

`S_(barra y) = frac(somma_(i=1)^n (y_i - barra y)^2) (n-1) = frac(somma_(i=1)^n (y_i - (somma_(i= 1)^n y_i) /n)^2) (n-1)` - stima campionaria della varianza di `y` rispetto alla media.

Per valutare l'efficacia dell'equazione di regressione per descrivere la dipendenza, viene calcolato il coefficiente di Fisher
`F = S_(barra y) / S_(y, riposo)^2`,
che viene confrontato con il coefficiente tabulare di Fisher `F(p, n-1, n-2)`.

Se `F > F(P, n-1, n-2)`, la differenza tra la descrizione della dipendenza `y = f(x)` usando l'equazione di regressione e la descrizione usando la media è considerata statisticamente significativa con probabilità `P`. Quelli. la regressione descrive la dipendenza meglio della diffusione di 'y' attorno alla media.

Fare clic sul grafico
per aggiungere valori alla tabella

Metodo dei minimi quadrati. Il metodo dei minimi quadrati significa la determinazione di parametri sconosciuti a, b, c, la dipendenza funzionale accettata

Il metodo dei minimi quadrati significa la determinazione di parametri sconosciuti a, b, c,… dipendenza funzionale accettata

y = f(x,a,b,c,…),

che fornirebbe un minimo del quadrato medio (varianza) dell'errore

, (24)

dove x i , y i - insieme di coppie di numeri ottenute dall'esperimento.

Poiché la condizione per l'estremo di una funzione a più variabili è la condizione che le sue derivate parziali siano uguali a zero, allora i parametri a, b, c,… sono determinati dal sistema di equazioni:

; ; ; … (25)

Va ricordato che il metodo dei minimi quadrati viene utilizzato per selezionare i parametri dopo la forma della funzione y = f(x) definito.

Se da considerazioni teoriche è impossibile trarre conclusioni su quale dovrebbe essere la formula empirica, allora bisogna essere guidati da rappresentazioni visive, principalmente una rappresentazione grafica dei dati osservati.

In pratica, il più delle volte limitato ai seguenti tipi di funzioni:

1) lineare ;

2) quadratico a .