Statistica descrittiva, calcolo delle probabilità, inferenza statistica, Appunti di Statistica

Scarica Statistica descrittiva, calcolo delle probabilità, inferenza statistica e più Appunti in PDF di Statistica solo su Docsity! © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari CONCETTI GENERALI Cosa studia la statistica Studia fenomeni collettivi, ovvero l’insieme delle manifestazioni individuali. L’oggetto di studio dell'unità statistica( ad esempio: individuo) è il carattere. Ogni carattere è costituito da diverse modalità. Il collettivo statistico o popolazione è l’insieme delle unità statistiche omogenee rispetto a una o più caratteristiche. Distinguiamo: -Collettivo di Stato: unità individuabili in maniera esatta solo se si fissa un preciso istante di tempo. il contrario è il collettivo di movimento . -Collettivo empirico: le unità che costituiscono la popolazione sono facilmente osservabili. il contrario è il collettivo teorico. -Collettivo finito: costituito da un numero finito di unità. Il contrario è il collettivo infinito. Modalità dei caratteri Devono essere: 1. esaustive: ovvero devono rappresentare tutti i modi di manifestarsi di un carattere. 2. non sovrapposte: una sola modalità associabile all'unità. Quando vengono espresse numericamente, il carattere può essere distinto in qualitativo e quantitativo. Carattere qualitativo -sconnesso: date due modalità si può affermare solo se sono uguali o diverse, esempio: colore degli occhi, sesso eccetera. - ordinato: date due modalità è possibile solo dare un ordine e specificare se una precede l'altra, esempio: titolo di studio. Inoltre può essere distinto in: rettilineo, quando possiedono una modalità iniziale e finale, e ciclico (il contrario). Carattere quantitativo -con scala a intervalli: non esiste uno zero assoluto, naturale e non arbitrario. - con scala a rapporti: esiste uno zero assoluto, naturale e non arbitrario. - discreto: l'insieme delle modalità assumibili può essere messo in corrispondenza biunivoca con un sottoinsieme di numeri interi. Esempio: numero dei figli - continuo: l'insieme delle modalità assumibili può essere messo in corrispondenza biunivoca con un insieme di numeri reali. Esempio: altezza -trasferibile: se si può immaginare che una unità statistica possa cedere tutto o parte del carattere a un'altra unità statistica. Suddivisione del carattere in classi Se un carattere è costituito da molte modalità distinte, esso può essere suddiviso in classi. Le classi devono: - essere abbastanza piccole ma tali da consentire comunque informazioni adeguate con un certo livello accettabile di dettaglio. - essere disgiunte. - comprendere tutte le possibili modalità del carattere. - avere se possibile stessa ampiezza. Per ampiezza si intende la differenza tra estremo superiore ed estremo inferiore della classe. 1 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Distribuzione unitaria Semplice o multipla. Quella semplice è un'elencazione delle modalità osservate, unità per unità, nel collettivo. Quella multipla sia ha quando tale elencazione si riferisce a più di un carattere. Frequenza assoluta (ni) È il numero delle volte che la modalità di un carattere viene osservata nel collettivo. La distribuzione di frequenze semplice associa alle modalità che può assumere un carattere le corrispondenti frequenze assolute. ES. DISTRIBUZIONE DI FREQUENZE SEMPLICE Sesso è il carattere, maschio e femmina le modalità del carattere, ni le frequenze assolute, N è il collettivo che è 20. L’unità statistica è l’individuo, il collettivo è 20 individui. SESSO ni maschio 8 femmina 12 Tot. 20 (N) Frequenze relative(fi) e percentuali(pi) Le frequenze relative sono date dalle frequenze assolute diviso il numero totale delle unità osservate(collettivo). Le frequenze percentuali sono date dalle frequenze relative per 100. La distribuzione semplice assoluta dipende dalla numerosità del collettivo, più è grande e più sarà maggiore la distribuzione. Le altre due non dipendono dalla numerosità, non ci danno informazioni sulla numerosità, ma permettono di confrontare diverse distribuzioni di frequenze quando la numerosità dei collettivi è diversa. Frequenze cumulate(Ni, per le assolute, Fi, per le relative, Pi, per le percentuali) Per caratteri qualitativi ordinati e per caratteri quantitativi. Calcolano il numero di unità del collettivo che presentano una certa modalità e qualsiasi ad essa inferiori. Le frequenze retrocumulate calcolano il numero di unità del collettivo che presentano una certa modalità o qualsiasi ad essa superiori. Distribuzioni di quantità Risultato congiunto dell'operazione di classificazione del collettivo rispetto a un carattere e di misurazione di un carattere quantitativo trasferibile. Per intensità o quantità si intende un valore espresso in valori assoluti o relativi, una grandezza derivante da misurazione o una quantità risultante da calcoli eseguiti su dati originari. Serie storica o temporale Rappresentazione tabellare ottenuta registrando un fenomeno in determinati istanti o conteggiandolo in periodi definiti. Serie territoriale o spaziale Nel caso di un carattere geografico le cui modalità rappresentano nazioni, regioni, città eccetera. 2 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Esempio: Nelle distribuzioni di frequenze assolute è data dalla sommatoria, per i che va da 1 a k, delle modalità per le frequenze assolute diviso il collettivo. Ʃxini/N Nelle distribuzioni di frequenze la media aritmetica è chiamata anche media ponderata avente come pesi le frequenze. Esempio: Anni è il carattere, studente è l’unità statistica, 23 è il collettivo di studenti e S1 sono le modalità per le frequenze.(non si scrive S1 negli esercizi ma aini, ai sono le modalità e ni le freq. assolute) Nelle distribuzioni di frequenze relative: Ʃxifi Nelle distribuzioni di frequenze assolute relative ad un carattere quantitativo continuo con modalità raggruppate in classi: Ʃcini/n, ci è il valore centrale della classe che si trova facendo la somma tra l’estremo superiore e l’estremo inferiore della classe diviso 2. Esempio: PESO ni ci cini 40-50 5 (40+50)/2=45 225 50-60 8 (50+60)/2=55 440 60-70 15 65 975 70-80 2 75 150 Tot. 30 1790 5 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari =1790/30=9,7 Proprietà della media in generale: Per la definizione di Cauchy, la media è sempre interna all'intervallo dei valori osservati. Proprietà della media aritmetica: 1. Se moltiplico la media per il collettivo otterrò l’ammontare n = =Ʃxi 2. la somma degli scarti dalla media è nulla. Esso è la differenza tra una delle modalità e la media stessa. x1- 3. la somma del quadrato degli scarti dalla media aritmetica è un minimo, cioè è sempre inferiore alla somma dei quadrati degli scarti da un altro qualsiasi numero. Ʃ(xi- )^2 < Ʃ(xi- a)^2 4. La media aritmetica è associativa, significa che se una popolazione di n unità statistiche è suddivisa in più sottopopolazioni, la media dell'intera popolazione è uguale alla media aritmetica ponderata delle medie parziali con pesi costituiti dalla numerosità delle rispettive sottopopolazioni. 5. la media è invariante per trasformazioni lineari. y=a+bx —> la media di y è uguale ad a+b Media quadratica Nelle distribuzioni unitarie è la radice della media aritmetica dei quadrati delle modalità. Nelle distribuzioni di frequenze è la radice della media ponderata dei quadrati delle modalità. Media aritmetica e media quadratica sono medie analitiche poiché calcolabili per caratteri quantitativi e si calcolano considerando tutti i valori della distribuzione. Le medie di posizione si calcolano anche per i caratteri qualitativi considerando solo alcuni valori e il loro ordine. MODA Calcolabile sia per caratteri quantitativi che qualitativi. E’ quella modalità a cui è associata la maggiore frequenza. Se il carattere è continuo e le modalità sono raggruppate in classi e se esse sono di uguale ampiezza, la classe modale è quella a cui è associata la maggior frequenza, se sono di diversa ampiezza la classe modale è quella a cui è associata la maggior densità di frequenza(frequenza / ampiezza). Si calcola la moda considerando il valore centrale della classe. Esempio classi di stessa ampiezza: CLASSI ni 10-20 5 20-30 6 30-40 15 Classe modale: 30-40 Moda: (30+40)/2=35 6 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Esempio classi di diversa ampiezza: CLASSI ni hi (densità di frequenza) 10-20 5 5/10=0,5 20-40 6 6/20=0,3 40-70 15 15/30=0,5 2 classi modali: 10-20, 40-70 2 mode: 15, 55 MEDIANA Si calcola per caratteri quantitativi e qualitativi ordinati. La mediana è quella modalità per cui, una volta ordinate le modalità, le altre modalità statistiche assumeranno per 50% valori inferiori o uguali e l'altro 50% valori superiori o uguali ad essa. Essa si trova dunque al centro della distribuzione. -Nelle distribuzioni unitarie dobbiamo guardare il collettivo: se è pari si hanno due unità centrali n/2 ed (n/2)+, se il collettivo è dispari si ha un solo valore centrale (n+1)/2. -Nelle distribuzioni di frequenze assolute: 1. dobbiamo calcolare prima le frequenze relative 2. poi se compare 0,5 senza approssimare prenderò i valori della x associato allo 0,5 e il valore successivo alla x, se è un carattere qualitativo si prendono i due valori mediani, se invece è quantitativo si fa la media. 3. se non compare 0,5 si prende la frequenza cumulata subito superiore come mediana. -Nelle distribuzioni di un carattere continuo raggruppato in classi, calcolo le frequenze relative e le relative cumulate e trovo la mediana con la seguente formula: Inf+(Sup-Inf)x(0,5-Fi-1)/(Fi-Fi-1) Inf=estremo inferiore della classe Sup-Inf=ampiezza della classe Fi=frequenza cumulata corrisponde a 0,5, se non c’è prendo il valore subito superiore Fi-1=frequenza cumulata che precede Fi Esempio: X ni fi Fi 0-10 1 0,1 0,1 10-20 2 0,2 0,3 (0,1+0,2) 20-40 7 0,7 1 (0,3+0,7) 10 Classe mediana: 20-40 Me=20+(40-20)x(0,5-0,3)/(1-0,3)=25,7 7 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari E’ la radice della varianza. Nelle distribuzioni unitarie la varianza è pari a: (si pronuncia “sigma al quadrato”) Nelle distribuzioni di frequenze assolute: Il numeratore della varianza è detto DEVIANZA. Proprietà della varianza 1. La varianza si ottiene anche come differenza tra la media aritmetica dei quadrati delle modalità e il quadrato della media aritmetica. 2. Per le distribuzioni di frequenza si considera la media ponderata. 3. Se il carattere è continuo e le modalità sono raggruppate in classi al posto delle xi avremo i valori centrali di ogni classe. N.B.La varianza non è espressa nella stessa unità di misura delle modalità ma è data dal quadrato dell'unità di misura delle osservazioni originarie. Intervalli di variazione si considera: - campo di variazione: Ovvero la differenza tra il valore massimo e il valore minimo osservati. E’ una misura grossolana della variabilità perché dipende solo da valori estremi della distribuzione che in genere sono outlier (Ad esempio la distribuzione è costituita da valori molto piccoli mentre agli estremi ci sono valori molto grandi) - differenza interquartilica: è la distanza tra il terzo e il primo quartile e rappresenta il campo di variazione del 50% dei termini al centro della distribuzione. Anche questa non è una misura soddisfacente della variabilità perché si basa solo su 2 valori e si fa riferimento ad essa solo quando ci sono validi motivi di ritenere che i valori anomali siano effettivamente potenziali errori e sono considerati come trascurabili. 10 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Indici assoluti: Fino ad ora abbiamo considerato solo indici assoluti che non permettono di confrontare la variabilità di due diverse distribuzioni in quanto si hanno due problemi, ovvero, l'unità di misura diversa e l'ordine di grandezza della manifestazione di fenomeni diverso. Facciamo riferimento a indici relativi che si ottengono attraverso la normalizzazione dell'indice, questa è data dall’indice meno l'indice minimo diviso l'indice massimo meno l’indice minimo. Essi variano tra 0 e 1 oppure facciamo riferimento a indici percentuali ovvero: Gli indici percentuali hanno minimo 0 e massimo non definito, non hanno senso se la media è negativa o nulla. LA CONCENTRAZIONE La concentrazione è un aspetto della variabilità che studia caratteri quantitativi trasferibili. Ad esempio il reddito. Studia in particolare tre situazioni: - Equidistribuzione: il reddito si trasferisce in modo uguale tra le persone - concentrazione intermedia - massima concentrazione: il reddito è concentrato nelle mani di una sola persona Indichiamo con Fi la quota cumulata delle prime i frequenze, cioè dei primi redditieri. Data da i/n. Indichiamo con Qi la quota cumulata dei primi i valori del carattere, cioè del reddito spettante ai primi redditieri. Data dalla sommatoria, per i che va da 1 a j, delle xi, diviso la sommatoria, per i che va da 1 a n, delle xi. Nel caso di equidistribuzione Fi=Qi perché Fn e Qn sono uguali a 1. F1=1/n; F2=2/n; Fn=n/n=1 Q1=x1/sommatoria di xi; Q2=x1+x2/sommatoria di xi; Qn=sommatoria di xi/sommatoria di xi=1 Nel caso di massima concentrazione Qi è inferiore uguale a Fi, perché Qi è uguale a 0 tranne per Qn=1 ed Fi è uguale a 1. RAPPRESENTAZIONE GRAFICA: La concentrazione è rappresentata attraverso un quadrante 1x1 in frequenze assolute, dove sulle ascisse ci sono le Fi e sulle ordinate le Qi. La bisettrice indica l’equidistribuzione, mentre noi osserviamo Qi minore uguale di Fi confrontando la media delle unità più povere con quella di tutte le unità. Unendo questi punti si ha la spezzata o curva di Lorenz. 11 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Indice assoluto di Gini C= È la misura della concentrazione. Se c’è equidistribuzione C sarà uguale a 0. C min=0 C max= Indice relativo di Gini DISTRIBUZIONI DOPPIE DI FREQUENZA Fa riferimento alla classificazione delle modalità di 2 caratteri. La tabella che riporta 2 caratteri qualitativi è chiamata tabella di contingenza. Il carattere X ha n modalità, la generica la chiamiamo i e varia da 1 a n. Il carattere Y ha m modalità e la generica la chiamiamo j che varia da 1 a m. Le frequenze all’interno della tabella sono, in questo caso, assolute e sono chiamate frequenze di associazione o congiunte. Mi dicono il numero di unità statistiche su cui ho confrontato la corrispondente coppia di modalità. 12 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari g è funzione di xi e di M. Non si hanno danni se xi=M, si hanno danni se xi è diverso da M. Si hanno tanti errori quante sono le sostituzioni, l'insieme degli errori è chiamato complesso di errori o danno globale ed è espresso con la lettera h. h è funzione delle funzioni g. La soluzione di questa equazione comporta due valori: il valore di M che rende minima h e il valore minimo che assume h. Per la media aritmetica: Per la mediana: Per la moda: 15 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari LA DIPENDENZA TRA 2 CARATTERI Dipendenza statistica Le modalità del carattere possono essere predette dalla conoscenza delle modalità di un altro carattere. Il contrario è l'indipendenza statistica. Indipendenza assoluta Le distribuzioni relative condizionate di un carattere rispetto all'altro sono identiche tra loro e identiche alle frequenze relative marginali. Misura della dipendenza assoluta è l'indice chi quadro(indice di associazione): Se è uguale a 0 c’è indipendenza assoluta. Questo è l’indice assoluto, se si vuole quello relativo troviamo il valore minimo tra le righe e colonne, sottraiamo 1 e infine dividiamo l'indice assoluto per questo valore che abbiamo trovato. La frequenza osservata è la frequenza che osserviamo nella tabella di contingenza mentre quella teorica, nel caso di indipendenza, è pari a: La differenza tra frequenza osservata e frequenza teorica è chiamata contingenza. Dipendenza in media o parametrica Quando calcoliamo un determinato indice di sintesi, nel nostro caso la media aritmetica, e lo calcoliamo per ognuna delle distribuzioni condizionate e queste sono diverse tra loro si parla di dipendenza in media, se sono uguali si parla di indipendenza in media. Può sussistere il caso di una indipendenza in media nonostante ci sia una dipendenza in assoluto ma non il contrario. La dipendenza in media può essere calcolata però solo quando almeno uno dei due caratteri sia quantitativo. Dipendenza analitica Studiamo una relazione di tipo lineare, questo tipo può dar luogo alla dipendenza analitica o funzionale. Una volta definita questa funzione possiamo calcolare il grado di adeguamento di Y a questa funzione di X, quindi definiremo l'indice di variazione di Pearson che ci dirà quanto è vera questa relazione lineare tra X e Y, cioè quanto le osservazioni della Y si porranno vicino alla retta definita come Y = a + bX. Dipendenza perfetta Quando possiamo verificare nella tabella a doppia entrata che uno dei due caratteri risulta predittivo per l'altro, cioè se conosco le modalità di X so quale sarà la modalità di Y. Nella tabella a doppia entrata, per ogni riga, abbiamo un unico valore diverso da zero. Allora avremo che Y dipenderà perfettamente da X e potrò prevedere la sua modalità conoscendo quella della X. 16 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Numero delle righe maggiore del numero delle colonne Vi è una massima dipendenza di X da Y, ma non il contrario. Ad ogni modalità di Y è associata una sola modalità di X. Numero delle righe minore del numero delle colonne Massima dipendenza di Y da X, non è vero il contrario. Ad ogni modalità di X è associata una sola modalità di Y. Interdipendenza Il numero delle modalità della X è uguale a quello della Y, sarà vero anche il viceversa. Per ogni colonna avrò un'unica frequenza diversa da 0 e quindi conoscendo la modalità di Y posso sapere qual è la modalità di X associata. Questa interdipendenza perfetta si ha solo se X e Y hanno lo stesso numero di modalità, cioè se la tabella a doppia entrata è quadrata. In entrambi i casi il valore del chi quadro è massimo. DIPENDENZA LINEARE Vogliamo trovare il tipo di funzione più adatta per esprimere Y in funzione di X, è un problema di regressione, dove esprime la presenza di una relazione tra Y e X, nel nostro caso lineare. Vogliamo definire il grado di intensità di questa relazione per questo calcoleremo la correlazione. Considerando gli scarti positivi dalla media della X e della Y congiunti, se abbiamo scarti positivi della X dalla sua media, la relazione è lineare tra i due caratteri X e Y quantitativi. La correlazione è positiva quando a scarti positivi della X corrisponderanno scarti della Y positivi. La correlazione è negativa quando a scarti positivi di X corrispondono scarti negativi di Y e a scarti negativi di X corrispondono scarti positivi di Y. Diagramma a punti o a scatter QUADRANTE SEGNO xi SEGNO yi SEGNO xiyi I + + + II - + - III - - + IV + - - 17 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari ES. di evento aleatorio lancio dei dadi Es. di evento composto: esce un numero dispari ES. di evento semplice o elementare: esce 1 Se devo ottenere dei calcoli di probabilità di un evento, devo collegare gli eventi tra loro. Definiamo una struttura formale che ci permetta di collegarli. Questa struttura la chiamiamo algebra è un insieme di regole/ operazioni. Queste operazioni sono: - Operazione di negazione complementare d'un evento: dato l'evento A, quello (A negato, dato da 1-A)è l’evento che è vero quando non si verifica A. -Operazione di unione: AUB è un evento che è vero quando si verificano A o B o entrambi. -Operazione d'intersezione: è un evento che è vero se sono veri sia A che B( si verificano contemporaneamente). Si distingue l'algebra di Boole e l'algebra di Boole additiva (o Sigma algebra o classe additiva). La prima fa riferimento a un insieme di eventi chiuso rispetto alla complementarietà e all'unione finita di eventi. C’è chi dice che basta definire solo queste due operazioni e non quella di intersezione e chi dice il contrario. La seconda fa riferimento all'insieme di eventi chiuso rispetto all'unione infinita di eventi. Due eventi si dicono incompatibili a due a due se: Si dicono Ar, As eventi incompatibili se la loro intersezione dà luogo a eventi impossibili. Vengono rappresentati con insiemi disgiunti. Due eventi sono necessari se Si rappresentano con i diagrammi di Venn con figure piane. 20 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Essi ricoprono l'intero spazio campionario, in particolare, se gli eventi sono necessari e incompatibili Ai intersecato Aj è uguale all'evento impossibile . Per ogni i,j si dice che gli eventi formano una partizione nello spazio campionario. La partizione più semplice da considerare è quella di A e il suo contrario A negato perché: PROPRIETÀ DELL’INCLUSIONE: AcB Il verificarsi di A implica che si sia verificato B. Se AcB implica che , significa che il non verificarsi di B implica il non verificarsi di A. Se AcB e BcA, A e B sono eventi coincidenti o uguali. PROPRIETÀ DELL’UNIONE E DELL’INTERSEZIONE: DELL’IDEMPOTENZA AUA=A DELL’ELEMENTO NEUTRO COMMUTATIVA AUB=BUA ASSOCIATIVA (AUB)UC=AU(BUC) DISTRIBUTIVA LEGGI DI DE MORGAN O DI BOOLE 21 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Probabilità: numero associato al verificarsi di un evento. Assiomi o postulati 1. Gli eventi sono sottoinsiemi dello spazio campionario e formano una classe additiva 2. Ad ogni evento A che appartiene alla classe additiva, è assegnato un numero reale non negativo. P(A)≥0 → Assioma della non negatività 3. La probabilità assegnata all’intero spazio campionario è uguale a 1. P(Ω)=1 →Assioma della normalizzazione 4. Se AUB genera l’evento impossibile, la probabilità di AUB= P(A)+P(B) SeΩ è costituito da un numero finito di eventi, la probabilità è definita come funzione di insieme avente come dominio la classe additiva e si richiede che abbia come codominio un intervallo numerico [0,1], che la probabilità dello spazio campionario(omega) sia 1 e che risultino fissate le modalità con cui si calcolano le probabilità degli eventi a partire dalla probabilità di eventi semplici. Nel caso in cui omega sia costituito da un’infinità di eventi, si ricorre al concetto di sigma algebra. La definizione più rigorosa di sigma algebra afferma che: data una classe additiva in cui siano definite le 3 operazioni di negazione, unione e intersezione, se A appartiene a questa classe additiva, anche A negato vi appartiene, se A e B appartengono alla classe additiva, anche A unito B e A intersecato B vi appartengono, se An appartiene alla classe additiva, anche l’unione infinita di An vi appartiene. Sigma algebra è una funzione reale, additiva e non negativa che soddisfa gli assiomi, aggiunto che la probabilità dell’unione infinita di An è uguale alla probabilità della sommatoria, per n che va da 1 a infinito, di An. Per funzione additiva si intende quella funzione che associa all’unione di un numero finito di insiemi, a due a due disgiunti, la somma dei valori assunti dalle singole funzioni relative a singoli insiemi. Se l’unione è estesa a un’insieme numerabile di insiemi, si parla della funzione della sigma algebra additiva o numerabilmente additiva. Quindi, nella teoria assiomatica, un evento aleatorio è descritto da: 1. uno spazio campionario 2. una classe di eventi additiva che costituisce una sigma algebra 22 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Ai sono le cause dell’evento E Il teorema di Bayes si chiede, una volta noto che si è verificato l'evento E qual è la probabilità che sia stata la causa Ai ad agire. 25 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Il fattore di proporzionalità è k ed è il reciproco della probabilità di E. Quindi posso scrivere che la probabilità a posteriori è uguale a k per la probabilità a priori per la verosimiglianza. LA VARIABILE CASUALE È una regola/una funzione definita su uno spazio campionario, che associa ad ogni evento elementare un unico numero reale. Formalmente, è una funzione misurabile a valori reali definita su Ω. Per ogni evento E di Ω, la variabile casuale X associa un numero reale x. Tramite X si crea una corrispondenza tra il dominio Ω degli eventi e il codominio R dei numeri reali. Non è detto che questa corrispondenza sia biunivoca, ovvero ad ogni evento corrisponde un solo valore reale ma non è detto che un valore assunto dalla variabile casuale derivi da un solo evento. L’insieme dei valori che la variabile casuale può assumere in una prova con probabilità positiva si chiama SUPPORTO DELLA VARIABILE CASUALE X. Variabili casuali discrete È una corrispondenza tra gli eventi dello spazio di probabilità e un insieme discreto finito o numerabile di valori reali. Quindi i valori di queste variabili sono numeri reali determinati dal risultato di un esperimento e perció incerti. Di conseguenza una variabile casuale X è sempre accompagnata da una probabilità P(X). Le fasi con cui si arriva ad associare i risultati di una prova e la probabilità sono 2: 1. Ad ogni evento elementare E di Ω si associa un solo numero reale x. Questo definisce la variabile casuale. 2. Ad ogni possibile valore della variabile casuale X si associa un valore di probabilità P(X). Questo definisce la funzione di probabilità della variabile casuale X. La variabile casuale X è definita se soddisfa gli assiomi di non negatività e di normalizzazione. Pi≥0 ; Ʃ Pi=1 26 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Si pone il problema di assegnare misure di probabilità a spazi non numerabili. Data una prova P e uno spazio campionario i cui eventi costituiscono un'infinità continua che rappresentiamo con una retta reale, si definisca E(x) un qualsiasi evento di questo tipo: E(x)={Si verifica un numero reale X≤x} per cui Ω è l'insieme degli intervalli (-∞;x] Tramite tali intervalli si costruisca la minima sigma algebra che contiene tutte le negazioni numerabili di tali intervalli inclusi l'evento impossibile e l'evento certo.La minima sigma algebra viene chiamata classe di Borel. Su di essa è possibile assegnare una probabilità agli eventi E(x) mediante una funzione F(x). Essa è definita come la probabilità che si verifichi l'evento E(x),e si verifichi un numero reale X≤x ed è chiamata funzione di ripartizione o di distribuzione. E(x)= P(X≤x)=F(x) Mediante F(x) è possibile assegnare una probabilità a qualsiasi evento generato della prova P. La funzione di ripartizione : - ha come dominio R - ha come codominio [0,1] - è una funzione non decrescente tra 0 e 1 e continua da destra È definita perché soddisfa gli assiomi di non negatività e di normalizzazione . La probabilità di omega è uguale a 1 perché: Variabile casuale continua Può assumere tutti i valori dell'intervallo. Formalmente è una funzione misurabile a valori reali che assegna ad ogni evento E di Ω un numero reale non negativo . Una funzione si dice misurabile se l’immagine inversa di un intervallo aperto è un evento, ossia è assegnata una certa probabilità, oppure è definita misurabile se esiste un valore x del supporto della variabile casuale X tale che: DEFINIZIONI: 1. Una variabile casuale X è continua se esiste una funzione di densità f(x) tale che la probabilità della variabile casuale X assuma valori nell'intervallo [a,b] e sia uguale all'integrale tra a e b di f(x) in dx. Per a e b reali qualsiasi con a < b . 27 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Proprietà dell'operatore varianza Date 2 variabili casuali indipendenti X1 e X2, la varianza della loro somma è la somma delle varianze delle singole variabili. Per la differenza: Data una combinazione lineare a1X1+a2X2, la sua varianza è la combinazione lineare delle 2 varianze. Se X1 e X2 sono dipendenti, per la somma: Per la differenza: Per le combinazioni lineari: Variabile casuale di Bernouilli È una variabile casuale discreta che assume valore 0 con probabilità 1- pi greco al verificarsi di E negato e valore 1 con probabilità pi greco al verificarsi di E. È definita perché 30 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari FUNZIONE DI RIPARTIZIONE p= pi greco Essendo una variabile discreta, la funzione di ripartizione è a gradini o salti 31 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari La varianza è compresa nell’intervallo [0;¼] Se è uguale a 0 e pi greco è uguale a 1, E è l'evento certo. Se è uguale a 0 e pi greco è uguale a 0, E è l’evento impossibile. Variabile casuale binomiale È una variabile casuale discreta e rappresenta il numero di successi in n sottoprove indipendenti, nelle quali è costante la probabilità pi greco di successo. Se X=0, nessun successo in n prove Se X=1, 1 successo in n prove ecc. DISTRIBUZIONE DI PROBABILITÀ FUNZIONE DI RIPARTIZIONE (a gradini o salti) 32 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari 35 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari 36 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Per altri appunti sulla normale(questi sono quelli da sapere) ed esercizi vai su Teams, Lezioni→ lezioni 2022→ variabile casuale normale VARIABILI CASUALI DOPPIE O MULTIPLE Solitamente rappresentate con tabella di contingenza Discrete: 37 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari STATISTICHE: valori di sintesi del campione INFERENZA STATISTICA Utilizza gli eventi osservati sotto forma di risultati campionari per giungere nel modo migliore alla conoscenza della popolazione che verosimilmente li ha generati. L’inferenza statistica, sulla base delle osservazioni campionarie: 1. cerca di arrivare alla conoscenza del valore numerico di uno o più parametri incogniti della popolazione, parliamo di teoria della stima che si distingue in stima puntuale e stima per intervalli. La prima specifica, anche se in condizioni di incertezza, un unico valore puntuale per il parametro incognito, la seconda costruisce un intervallo di valori per il parametro incognito. 2. intende verificare, in senso statistico, una certa affermazione fatta sulla popolazione in particolare su un parametro. Cioè se tale affermazione risulta vera o falsa sulla base di ciò che risulta dal campione. POPOLAZIONE X La popolazione X è una variabile casuale la cui forma è nota a meno di un parametro di un vettore di parametri teta che caratterizza la variabile aleatoria all'interno di una prefissata famiglia parametrica. L’insieme di valori che teta può assumere si chiama spazio parametrico. Esso si indica con teta maiuscolo o omega teta. Dalla popolazione viene estratto un sottoinsieme di unità statistiche, il procedimento di selezione genera una n-pla di variabili casuali X1, X2…XN la cui determinazione numerica specifica una n-pla di valori reali. Ogni numero reale xi, per i che va da 1 a n, è la determinazione della corrispondente variabile casuale Xi, detta variabile casuale della prima estrazione. PRIMA OSSERVAZIONE: La variabile casuale Xi, ha la stessa distribuzione della variabile casuale X della popolazione e per tanto si dicono somiglianti. SECONDA OSSERVAZIONE: Le Xi sono indipendenti. Definizione campione casuale Una collezione di variabili casuali X1,X2. . .Xn ottenuta con procedimento di estrazione della variabile casuale X, caratterizzata da una funzione di densità di parametri x e teta vettoriale, costituisce un campione casuale se Xi sono indipendenti e identicamente distribuite o somiglianti(i.i.d.). 40 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari CAMPIONE CASUALE REALIZZATO: si intende una n-pla di valori reali x1,x2,...xn che sono determinazioni delle corrispondenti variabili casuali campionarie. n esprime la dimensione del campione o numerosità campionaria ma esprime anche la dimensione dello spazio campionario in cui si collocano tutti i possibili campioni estratti dalla popolazione X con n prove ripetute. TERZA OSSERVAZIONE: Qualunque sia l’estrazione, la n-pla di variabili casuali è costituita sempre da variabili somiglianti. Distribuzione congiunta del campione casuale STATISTICA Una statistica campionaria è qualsiasi funzione a valori reali del campione casuale che non dipende da altre quantità incognite. Tn=T(X1, X2…Xn) Statistica calcolata È la realizzazione della statistica in un particolare campione. tn=t(x1,x2…xn) Ogni statistica è una sintesi delle distribuzioni campionarie. La distribuzione di probabilità della statistica si chiama distribuzione campionaria perché la probabilità che una statistica assuma un preciso valore è uguale alla probabilità di tutti i campioni per i quali si ottiene quel preciso campione. MEDIA CAMPIONARIA 41 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari PRIMA OSSERVAZIONE: La varianza della media campionaria dipende dalla varianza della popolazione e dalla dimensione del campione. Tanto più è piccola la varianza della media campionaria è tanto più la distribuzione di probabilità della media campionaria si addensa attorno alla media della popolazione e ciò garantisce che i valori della media campionaria siano più vicini a mi. SECONDA OSSERVAZIONE: Abbiamo stabilito che la variabile casuale media campionaria ha valore atteso mi e varianza sigma quadro diviso n, questi risultati sono indipendenti dalla forma della distribuzione della popolazione. Ipotizziamo che la variabile casuale generatrice X sia una variabile normale, le variabili casuali campionarie Xi hanno una distribuzione normale perché sono somiglianti alla X, ma essendo la media campionaria: 1 / n per sommatoria di xi ed essendo 1 / n una costante, la media campionaria è una combinazione lineare delle Xi. Proprietà riproduttiva o di stabilità della variabile casuale normale Sia a1X1+a2X2+...anXn una combinazione lineare di variabili casuali Xi~N( ) e indipendenti e chiamo Y queste variabili casuali, Y è: . È come se scrivessi: 42 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Se Xn per n=1,2… è una successione di variabili casuali indipendenti con media uguale a Xn e varianza uguale a E(Xn)²-E²(Xn) la variabile casuale Sn avrà media e varianza Studiare la convergenza di Sn non ha senso perché valore atteso e varianza divergono per n che tende a infinito perciò standardizziamo Sn: Secondo teorema limite centrale: di Lindenberg e Levy Nota una successione di variabili casuali Xn indipendenti e identicamente distribuite con media e varianza costanti, nel caso in cui la forma della distribuzione delle variabili casuali non sia nota, la media campionaria è asintoticamente normale nei suoi parametri e Standardizzando si avrà: Terzo teorema limite centrale: di Demoivre La Place Si considera una successione di variabili casuali indipendenti e tutte identicamente distribuite con variabili casuali di bernoulli con probabilità di successo costante pari a pi greco. La somma di xi rappresenta in questo caso il numero di successi nelle prime n prove. Quindi X avrà una distribuzione di probabilità binomiale caratterizzata da parametri n e pi greco . Standardizzando: STIMATORI Per stimatore si intende una variabile casuale ovvero una funzione del campione casuale utile per stimare un parametro incognito. Dopo aver estratto il campione la realizzazione dello stimatore del campione casuale osservato si chiama stima. 45 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Si possono avere infiniti stimatori, occorre trovare una regola per discriminare tra stimatori alternativi. La prima regola è quella dello stimatore naturale,ovvero lo stimatore deve avere lo stesso significato del parametro che si vuole stimare, ossia del parametro incognito della popolazione. ( ) La bontà di uno stimatore è valutata in base a proprietà che si ritiene desiderabili che lo stimatore possieda. Queste proprietà vengono definite per una dimensione n finita campionaria (proprietà esatte) e per l'aumento della numerosità del campione (proprietà asintotiche).Sono proprietà esatte: la correttezza, l'efficienza relativa e assoluta , sono proprietà asintotiche:la correttezza asintotica e la consistenza in media quadratica. Correttezza Uno stimatore è corretto se il suo valore atteso è uguale a quello incognito; 46 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Efficienza Si vuole che nel processo di stima lo stimatore assuma valori vicini al parametro incognito. Per gli stimatori corretti, l’efficienza relativa viene valutata confrontando le varianze perché la distorsione è nulla. Quindi: DISUGUAGLIANZA DI CRAMER RAU: dice che esiste un limite inferiore per la varianza di uno stimatore corretto al di sotto del quale la varianza non può scendere. 47 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari DEFINIZIONE GENERALE DI INTERVALLO DI CONFIDENZA Data o con Si consideri un campione casuale (X1,X2…Xn) i.i.d. e 2 funzioni delle osservazioni campionarie: 50 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari INTERVALLO Dl CONFIDENZA DI UNA POPOLAZIONE NORMALE 4 OSSERVAZIONI: -All'aumentare di n l'intervallo si restringe e la stima è più precisa -Qualunque sia il valore osservato della media campionaria egli intervalli hanno lunghezza fissa pari a -Se aumenta il grado di fiducia,l'ampiezza dell'intervallo aumenta - Se la variabile generatrice non è una normale , possiamo costruire l'intervallo per il Teorema del limite centrale di Lindenberg e Levy 51 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari INTERVALLO DI CONFIDENZA PER LA PROPORZIONE DI SUCCESSI N.B. PER STIMARE GLI INTERVALLI: Controllare se la distribuzione è normale. Se non è nota controllo la dimensione campionaria per vedere se è sufficientemente elevata da applicare il teorema del limite centrale che dice che la popolazione è distribuita come una normale. DISUGUAGLIANZA DI CHEBYSHEV Se n è piccola e non conosco la distribuzione di X posso dire: 52 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari X. Ci occuperemo di ipotesi parametriche a sottolineare che gli aspetti incogniti della popolazione riguardano parametri della distribuzione di probabilità o funzione di densità della popolazione o variabile casuale generatrice X. Le ipotesi possono essere semplici o composte. Nel primo caso specificano completamente la funzione di densità o distribuzione di X perché individuano un solo punto nello spazio di parametri, nel secondo caso individuano più punti nello spazio di parametri in quanto non specificano completamente la funzione di densità o distribuzione di probabilità. L’ipotesi che è sottoposta a verifica si chiama ipotesi nulla indicata con H0, è l'ipotesi preesistente all'esperimento campionario, si ritiene vera fino a prova contraria, l'ipotesi nulla sta a significare che non esiste differenza tra quanto stabilisce l'ipotesi e il parametro incognito. Anche l'ipotesi alternativa H1 darà un'affermazione sul parametro incognito ma è una contro affermazione in antitesi con ciò che è stabilito nell’ ipotesi nulla. Costituisce quindi un allontanamento da zero e bisogna indicarne la direzione. In generale, con la formulazione delle ipotesi si crea una partizione nello spazio di parametri in due sottospazi esaustivi e disgiunti: 55 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Sistema di ipotesi per la media della popolazione : Definizione di test statistici Una volta formulate le ipotesi si deve decidere se rifiutare o non H0 sulla base dell'evidenza campionaria. Quindi serve una regola che permetta di discriminare tra i risultati campionari che portano a non rifiutare l'ipotesi nulla e quelli che portano a rifiutarla, questa regola si chiama test statistico e in definitiva permette di stabilire se le osservazioni campionarie sono coerenti all’ ipotesi nulla o meno. Operativamente è una statistica che fa corrispondere ad ogni campione casuale un valore numerico che può essere coerente con quanto stabilito dall’ ipotesi nulla o non coerente. La statistica utilizzata per decidere se un certo campione porta alla accettazione o rifiuto dell’ ipotesi nulla è detta statistica test, essa crea una bipartizione dello spazio campionario in due spazi complementari Rc ed Ra, Rc è la regione critica o di rifiuto dell'ipotesi nulla, Ra è la regione complementare di accettazione per H0. 56 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Per determinare le regioni di accettazione o di rifiuto bisogna specificare Alpha, ovvero il livello di significatività del test. I valori che delimitano la regione di rifiuto sono detti valori critici, sono due se il test è bilaterale o bidirezionale e uno se il test è unidirezionale. Se sono due, ci sarà un valore critico inferiore e un valore critico superiore. Se il valore test è compreso tra questi due valori si accetta H0, nelle code si rifiuta. Se il test è unidirezionale del tipo maggiore c’è un solo valore critico, per valori della statistica test inferiori al valore critico si accetta H0 e nella coda si rifiuta. Se è di tipo minore ed è inferiore al valore critico si rifiuta H0, se è maggiore si accetta. Valutazione di errori di decisione Non rifiuto H0 rifiuto H0 H0 vera Decisione corretta G1 Decisione sbagliata E1 H0 falsa Decisione sbagliata E2 Decisione corretta G2 E1=errore di primo tipo E2= errore di secondo tipo 57 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari FUNZIONE POTENZA DEL TEST Quando l’ipotesi alternativa è composta CALCOLARE BETA E BETA-1: (Riprendo l’esempio della pagina precedente) 60 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari P-VALUE Livello di significatività del test, ovvero il livello minimo di probabilità al quale si può rifiutare l'ipotesi nulla per un dato risultato campionario. RELAZIONE TRA INTERVALLO DI CONFIDENZA E VERIFICA DELLE IPOTESI RELAZIONE FUNZIONALE E STATISTICA TRA 2 VARIABILI X=variabile esplicativa o indipendente Y=variabile risposta o dipendente Y=f(x) Una variabile Y è funzione di x se ad ogni valore di x corrisponde un solo valore di Y. Questa è chiamata relazione deterministica o funzionale 61 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari MODELLO DI REGRESSIONE LINEARE SEMPLICE(una sola variabile casuale) 4 assunzioni: Se ci concentriamo sulla parte Il valore predetto è uguale alla parte funzionale della relazione statistica: 62 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari 65 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari GRAFICO DI DISPERSIONE: Abbiamo trovato la retta che passa il più vicino possibile a tutti i punti osservati Indice di determinazione Se non c’è relazione lineare tra X e Y allora: 66 © Sara Zomparelli - dicembre 2022 - Università di Economia “Tor Vergata” - Appunti statistica Carbonaro/Corazziari Se c’è dipendenza lineare si può studiare la variabilità 67