Il metodo dei minimi quadrati - Statistica, Appunti di Statistica

Scarica Il metodo dei minimi quadrati - Statistica e più Appunti in PDF di Statistica solo su Docsity! Capitolo 11 I minimi quadrati Il problema con cui abbiamo a che fare adesso consiste nel determinare con buona approssimazione una curva (funzione) che descriva il fenomeno a cui i dati appartengono. Lo scopo è quello di conoscere l’andamento del fenomeno anche negli intervalli fra i punti di osservazione. Consideriamo due tipi fondamentali di approssimazione: • Interpolazione • Approssimazione ai minimi quadrati interpolazione minimi quadrati 11.1 Il metodo dei minimi quadrati L’approssimazione ai minimi quadrati è una tecnica di ottimizzazione volta a determinare una funzione analitica che approssimi un insieme di dati senza 123 124 CAPITOLO 11. I MINIMI QUADRATI necessariamente passare per i dati stessi (interpolazione), o meglio che si avvicini più possibile ad un’interpolazione di un insieme di dati (tipicamente punti del piano). Infatti, se i dati provengono da misure sperimentali e sono quindi affetti da errore oppure se non sono molto precisi (poche cifre significative) allora è opportuno approssimare ai minimi quadrati anziché interpolare. In particolare la funzione trovata deve essere quella che minimizza la somma dei quadrati delle distanze dai punti. 11.1.1 Caso lineare Molto spesso, un esperimento richiede la misura di molte coppie di valori di due grandezze di cui si vuol verificare l’esistenza di una dipendenza funzionale di tipo lineare. Consideriamo 2 variabili x ed y legate da una relazione lineare, del tipo: y = A + Bx dove A eB sono due costanti. In questa formulazione x rappresenta la variabile indipendente, y rappre- senta la variabile dipendente, A è l’intercetta e B la pendenza o coefficiente angolare. Esempi: • in un moto uniformemente accelerato la velocità v dipende linearmente dal tempo t: v = vo + at dove a è l’accelerazione costante; • la relazione Tully-Fisher osservata per le galassie a spirale; 11.1. IL METODO DEI MINIMI QUADRATI 127 Ma perchè minimizzare proprio la somma dei quadrati degli scarti? La somma degli scarti non è adatta a quantificare l’aderenza della retta agli N punti. Gli scarti possono essere infatti positivi o negativi e la loro somma può essere piccola in valore assoluto anche per rette palesemente inadatte a descrivere gli N punti. Per esempio, siano dati i tre punti allineati (1, 1), (2, 2), (3, 3). Ovviamente la miglior retta è y = x; la somma degli scarti è nulla. Ma è nulla anche per qualunque retta passi per (2, 2), quindi di equazione y = m(x − 2) + 2. È dunque opportuno utilizzare valori positivi. La somma dei moduli degli scarti è una scelta plausibile. Tuttavia la somma dei quadrati anziché dei valori assoluti si accorda in modo naturale con la media aritmetica: la media aritmetica di una sequenza di numeri gode della proprietà di rendere minima la somma dei quadrati degli scarti. Ciò equivale a trovare la coppia di costanti A e B tali da rendere massima la probabilità composta P (y1, y2, · · ·yN), ovvero minima la quantità χ 2. Per prima cosa determiniamo i punti in cui le derivate parziali di χ2 rispetto ad A e B si annullano: ∂χ2 ∂A = −2 N ∑ i=1 (yi − A − Bxi) σ2i = 0 ∂χ2 ∂B = −2 N ∑ i=1 (yi − A − Bxi) σ2i xi = 0 Queste due equazioni possono essere riscritte nella forma:            N ∑ i=1 yi σ2i − A N ∑ i=1 1 σ2i − B N ∑ i=1 xi σ2i = 0 N ∑ i=1 xiyi σ2i − A N ∑ i=1 xi σ2i − B N ∑ i=1 x2i σ2i = 0 Si tratta di un sistema di due equazioni lineari nelle due incognite A e B, che ammette una sola soluzione. Definendo: Sx = N ∑ i=1 xi σ2i ; Sy = N ∑ i=1 yi σ2i ; Sxx = N ∑ i=1 x2i σ2i ; Sxy = N ∑ i=1 xi · yi σ2i ; S = N ∑ i=1 1 σ2i i coefficienti A e B sono dati da: 128 CAPITOLO 11. I MINIMI QUADRATI A = Sxx · Sy − Sx · Sxy S · Sxx − Sx · Sx B = S · Sxy − Sx · Sy S · Sxx − Sx · Sx Nell’ ipotesi che le N misure della variabile y siano descrivibili dalla di- stribuzione di Gauss con errore quadratico medio σy (cioè σi = σy ∀i = 1, 2, · · ·N), le equazioni si semplificano in quanto: Sx = 1 σ2y N ∑ i=1 xi; Sy = 1 σ2y N ∑ i=1 yi; Sxx = 1 σ2y N ∑ i=1 x2i Sxy = 1 σ2y N ∑ i=1 xi · yi; S = N ∑ i=1 1 σ2y = N σ2y Semplificando i fattori σ2y che compaiono ovunque ricaviamo: A = N ∑ i=1 x2i · N ∑ i=1 yi − N ∑ i=1 xi · N ∑ i=1 xiyi N · N ∑ i=1 x2i − ( N ∑ i=1 xi )2 B = N · N ∑ i=1 xiyi − N ∑ i=1 xi · N ∑ i=1 yi N · N ∑ i=1 x2i − ( N ∑ i=1 xi )2 Dividendo ogni termine per N2 e dalla definizione di media aritmetica di una grandezza otteniamo: A = x2y − x · xy x2 − x2 B = xy − x · y x2 − x2 La retta risultante che ha come intercetta sull’asse delle Y il parametro A e come coefficiente angolare il parametro B, entrambi determinati a partire dai dati sperimentali di x e y è detta retta dei minimi quadrati o retta di regressione di y su x. Si verifica facilmente che la retta dei minimi quadrati cos̀ı determinata passa attraverso il punto di coordinate: 11.1. IL METODO DEI MINIMI QUADRATI 129 x̃ = N ∑ i=1 xi σ2i N ∑ i=1 1 σ2i ỹ = N ∑ i=1 yi σ2i N ∑ i=1 1 σ2i Utilizzando un’analogia meccanica, esso rappresenta il baricentro degli N punti di coordinate (x1, y1), (x2, y2) · · · (xN , yN), nei quali siano concentrate le masse 1 σ2 1 , 1 σ2 2 , · · · , 1 σ2N . Nel caso di misure yi tutte affette dalla stessa indeterminazione statistica σy, i valori x̃ e ỹ coincidono semplicemente con le medie aritmetiche delle due serie di misure. In altre parole, la retta di regressione passa per il punto avente come coordinate i valori medi delle due serie di misure. 11.1.2 Indeterminazione sulla misura di y Abbiamo ipotizzato che ogni misura yi si distribuisca attorno al valor vero y∗i secondo una distribuzione gaussiana di larghezza σy, la stessa per tutti le N determinazioni. In questo caso, è importante notare che le soluzioni per i parametri A e B non dipendono da σy, ma solo dai dati sperimentali per x e y. In altre parole la soluzione al problema non richiede una conoscenza a priori della indeterminazione statistica della grandezza y. Di fatto, una buona stima dell’errore quadratico medio è ottenibile sempre a partire dai soli dati sperimentali: σy = √ √ √ √ 1 N N ∑ i=1 (yi − A − Bxi) 2 Se le due costanti teoriche A e B sono approssimate dalle nostre miglior stime dei dati sperimentali i gradi di libertà del sistema si riducono da N a N − 2, per cui al fine di non sottostimare σy, è più corretto utilizzare la formula: σy = √ √ √ √ 1 N − 2 N ∑ i=1 (yi − A − Bxi) 2 La quantità σy stima la distanza media dei punti dalla retta di regressione. Se σy è circa uguale all’ incertezza attesa δy, i dati sono consistenti con la 132 CAPITOLO 11. I MINIMI QUADRATI Spesso, anche quando la relazione funzionale tra le due grandezze x e y è di tipo non lineare, ci si può ricondurre al caso lineare mediante op- portuni cambiamenti di variabili. Esempi significativi di possibile frequente applicazione: • y = A + B xp Se p è noto, possiamo porre z = y e w = xp, ottenendo z = A + Bw • y = B xp Se p è incognito, possiamo porre z = log y e w = log x, a = log B, b = p, ottenendo z = a + bw • y = AeBx, con A e B da determinarsi. Poniamo z = log y, w = x, con a = log A, b = B, ottenendo z = a + bw Il cambiamento di variabili impone molta cautela e attenzione. Infatti se tutte le misure yi sono affette dalla stessa indeterminazione σy, ciò non è ugualmente valido per i valori zi = log yi. Infatti dalla propagazione degli errori sappiamo che σzi = σy yi , che dipende dal valore del corrispondente yi. La conversione al caso lineare è utile non solo per la possibilità di applicare il metodo dei minimi quadrati appena descritto, ma anche per verificare graficamente la relazione lineare tra due grandezze fisiche. 11.2 Generalizzazione del metodo dei minimi quadrati Il metodo dei minimi quadrati, introdotto supponendo una relazione lineare tra x e y, può essere applicato in modo più generale. Consideriamo, per semplicità, il caso di due variabili x e y. Si abbia- no a disposizione N coppie di dati (x1, y1), (x2, y2), · · · (xN , yN). Suppo- niamo inoltre che l’errore su x sia trascurabile e che le yi siano affette da indeterminazioni statistiche σi. Si sappia o si supponga che la relazione tra x e y sia espressa dalla funzione: y = f(x, c1, c2, · · · cp) e si vogliano determinare i valori dei parametri c1, c2, · · · cp in corrispon- denza dei quali la curva meglio approssima i punti sperimentali. Il metodo dei minimi quadrati permette di trovare tali valori; essi sono tali da rendere minima la quantità: 11.2. GENERALIZZAZIONE DEL METODO DEI MINIMI QUADRATI133 χ2 = N ∑ i=1 [yi − f(x, c1, c2, · · · cp)] 2 σ2i I valori dei parametri si ottengono risolvendo il sistema di equazioni: ∂χ2 ∂c1 = ∂χ2 ∂c2 = · · · ∂χ2 ∂cp = 0 In pratica la soluzione di tale sistema di equazioni può essere assai la- boriosa a seconda della particolare forma della funzione. Difficilmente si impiegano metodi analitici, più spesso il minimo di χ viene determinato nu- mericamente con l’utilizzo di appositi programmi fatti operare al computer (e.g. ricavare il gradiente di χ e muoversi a passi verso valori sempre più piccoli). Cosa cambia se anche le viariabili indipendenti x sono affette da errore? Indichiamo con σx e σy gli errori statistici su x e y rispettivamente. Appli- cando il principio della massima verosimiglianza si dimostra che i migliori valori dei parametri ci sono quello che minimizzano l’espressione: χ2 = N ∑ i=1 [yi − f(x, c1, c2, · · · cp)] 2 δ2i avendo posto δ2i = σ 2 yi + ( ∂f ∂x )2 x=xi σ2xi dove i singoli δi dipendono, in generale, essi stessi dai parametri ci. Possiamo osservare che δ2i è proprio la varianza degli scarti si = yi−f(xi). Infatti dalla propagazione degli errori statistici si ricava: σ2si = σ 2 yi + ( ∂f ∂x )2 σ2xi In altre parole tutto avviene come se non ci fossero errori sulla variabile indipendente x a patto di sostituire all’errore σyi , l’errore efficace δi, che ha il significato di errore quadratico medio dello scarto si. D’altra parte si vede che per σxi → 0, si ha che δi → σyi . Riportandoci al caso di partenza, e cioè che la relazione y = f(x, c1, c2, · · · cp) sia lineare: y = A + Bx 134 CAPITOLO 11. I MINIMI QUADRATI l’errore efficace vale semplicemente: δi = √ (σyi) 2 + B2(σxi) 2 e quindi dobbiamo minimizzare la quantità χ2 = N ∑ i=1 (yi − A − Bxi) 2 σ2yi + B 2σ2xi Poiché il parametro B compare anche al denominatore le formule prece- denti per calcolare i valori di A e B diventano molto più complicate. In questi casi in genere si usa per la derivata di f(x, c1, c2, · · · , cp), (ovvero per B se la funzione è lineare) un valore approssimato, per esempio derivato graficamen- te, oppure ricavato da una prima stima provvisoria dei parametri effettuata senza tener conto delle σxi . 11.3 Coefficiente di correlazione lineare Supponiamo di aver misurato N coppie di valori (x1,y1), ..., (xN ,yN) che pensiamo siano legate da una relazione lineare y = A + Bx. Abbiamo visto che possiamo calcolare A e B e avere anche una stima delle incertezze sulle misure. Però non sempre è possibile avere una stima delle incertezze in anticipo per poter capire se due grandezze sono legate o meno dalla relazione lineare. Abbiamo quindi bisogno di una quantità che ci dica quanto le due grandezze sono legate o “correlate”. Definiamo quindi il coefficiente di correlazione lineare: r = σxy σx σy dove: σx = √ √ √ √ √ √ N ∑ i=1 (xi − x̄) 2 N σy = √ √ √ √ √ √ N ∑ i=1 (yi − ȳ) 2 N sono gli scarti quadratici medi delle quantità x e y, mentre: σxy = N ∑ i=1 (xi − x̄)(yi − ȳ) N 11.3. COEFFICIENTE DI CORRELAZIONE LINEARE 137 r0 N 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 3 100 94 87 81 74 67 59 51 41 29 0 6 100 85 70 56 43 31 21 12 6 1 0 10 100 78 58 40 25 14 7 2 0.5 0 20 100 67 40 20 8 2 0.5 0.1 0 50 100 49 16 3 0.4 0 138 CAPITOLO 11. I MINIMI QUADRATI